[논문 리뷰] ICNet for Real-Time Semantic Segmentation on High-Resolution Images

Hengshuang Zhao, Xiaojuan Qi외 3명|arXiv (Cornell University)|2017. 04. 27.

Advanced Neural Network Applications참고 문헌 38인용 수 130

한 줄 요약

ICNet은 저해상도, 중간 해상도, 고해상도 입력을 처리하는 이미지 캐스케이드 네트워크를 도입하고, 캐스케이드 피처 결합 단위와 캐스케이드 레이블 가이드를 통해 높은 해상도 이미지에서 실시간 의미 분할을 비교적 높은 정확도로 달성합니다.

ABSTRACT

We focus on the challenging task of real-time semantic segmentation in this paper. It finds many practical applications and yet is with fundamental difficulty of reducing a large portion of computation for pixel-wise label inference. We propose an image cascade network (ICNet) that incorporates multi-resolution branches under proper label guidance to address this challenge. We provide in-depth analysis of our framework and introduce the cascade feature fusion unit to quickly achieve high-quality segmentation. Our system yields real-time inference on a single GPU card with decent quality results evaluated on challenging datasets like Cityscapes, CamVid and COCO-Stuff.

연구 동기 및 목표

• 실용적 응용 분야인 자율주행 등에서 고해상도 이미지에 대한 실시간 의미 분할의 필요성을 제시한다.
• 고해상도 분할의 계산 병목 현상을 식별하고 단순한 속도 향상 전략을 평가한다.
• 다중 해상도 특징을 효율적으로 융합하여 정확하고 빠른 예측을 할 수 있도록 ICNet를 개발한다.

제안 방법

• 저해상도, 중간 해상도, 고해상도 입력을 병렬 가지로 처리하는 이미지 캐스케이드 네트워크(ICNet)를 제안한다.
• 저해상도 특징을 업샘플링하고 정제하여 상위 해상도 가지와 융합하기 전에 CFF 유닛을 도입한다.
• 다중 스케일의 정답 레이블을 사용해 각 가지를 학습시키고 테스트 시에는 고해상도 가지만 사용하도록 CLG를 적용한다.
• 상세를 보존하면서 계산량을 줄이기 위해 상위 해상도 가지에서 경량 CNN을 활용한다.
• 학습 및 추론 시 다운샘플링 입력은 전체 계산량을 줄이면서 분할 품질을 유지한다.

실험 결과

연구 질문

• RQ1 다중 해상도 입력을 어떻게 통합하여 분할 정확도를 유지하면서 계산량을 줄일 수 있는가?
• RQ2 캐스캐이드 피처 융합은 대략적인 예측의 정제를 지나치게 큰 비용 없이 개선하는가?
• RQ3 캐스케이드 레이블 가이드는 학습의 안정성을 높이고 해상도 간 최종 예측을 개선하는가?

주요 결과

• ICNet은 단일 Titan X GPU에서 1024×2048 Cityscapes 이미지에 대해 실시간 추론(≈30 fps)을 달성한다.
• 저하상(저해상도), 중간 해상도, 고해상도의 세 가지 가지를 활용하면 압축된 PSPNet 기반 대비 mIoU는 비슷한 수준으로 유지하면서도 최대 5.2×의 속도 향상을 얻을 수 있다.
• Cascade feature fusion(CFF)은 다중 해상도 정제를 위한 역샘플링 기반 업샘플링보다 더 우수한 성능을 보인다.
• Cascade label guidance(CLG)는 가지 간 학습을 개선하고, CLG를 제거하면 성능이 저하된다.
• Cityscapes에서 세 가지 가지를 가진 ICNet은 67.7% mIoU를 달성하며, 베이스라인 67.9%에 비해 속도는 소폭 증가하는 수준이다; 고해상도 데이터의 세부 자료까지 전체 학습을 수행하면 mIoU가 70.6%로 상승하면서도 실시간 속도를 유지한다.
• ICNet은 CamVid(67.1% mIoU, 27.8 ms) 및 COCO-Stuff(29.1% mIoU, 28 ms)에서도 강력한 성능을 보여 교차 데이터셋 효율성을 입증한다.