[논문 리뷰] Light-Weight RefineNet for Real-Time Semantic Segmentation

Vladimir Nekrasov, Chunhua Shen외 1명|arXiv (Cornell University)|2018. 10. 08.

Advanced Neural Network Applications참고 문헌 57인용 수 101

한 줄 요약

본 논문은 RefineNet을 콤팩트하고 실시간 의미 분할 모델로 재구성하여 중복 블록을 제거하고 3x3 컨볼루션을 1x1 컨볼루션으로 대체함으로써 매개변수를 2x 이상 감소시키고 정확도 손실을 최소화하며 512×512 입력에서 최대 55 FPS를 달성한다.

ABSTRACT

We consider an important task of effective and efficient semantic image segmentation. In particular, we adapt a powerful semantic segmentation architecture, called RefineNet, into the more compact one, suitable even for tasks requiring real-time performance on high-resolution inputs. To this end, we identify computationally expensive blocks in the original setup, and propose two modifications aimed to decrease the number of parameters and floating point operations. By doing that, we achieve more than twofold model reduction, while keeping the performance levels almost intact. Our fastest model undergoes a significant speed-up boost from 20 FPS to 55 FPS on a generic GPU card on 512x512 inputs with solid 81.1% mean iou performance on the test set of PASCAL VOC, while our slowest model with 32 FPS (from original 17 FPS) shows 82.7% mean iou on the same dataset. Alternatively, we showcase that our approach is easily mixable with light-weight classification networks: we attain 79.2% mean iou on PASCAL VOC using a model that contains only 3.3M parameters and performs only 9.3B floating point operations.

연구 동기 및 목표

• 실시간 의미 분할을 고해상도 입력에서 동기화시키는 동기를 제시한다.
• RefineNet의 계산 병목 현상을 식별하고 큰 정확도 손실 없이 제거한다.
• 경량 디코더 블록으로 인코더-디코더 스타일의 분할을 가속화할 수 있음을 입증한다.
• 경량 백본(NASNet-Mobile, MobileNet-v2) 및 기타 백본과의 호환성을 보여준다.

제안 방법

• CRP 및 융합 블록의 비용이 큰 3x3 컨볼루션을 1x1 컨볼루션으로 대체하여 매개변수와 FLOPs를 줄인다.
• 잔차 컨볼루션(RCU)에 대한 병목 설계를 채택하고 중복된 경우 RCU 블록을 제거한다.
• 맥락과 경험적 수용 필드를 보존하기 위해 5x5 풀링이 포함된 CRP 블록을 유지한다.
• RCU 블록을 생략해도 경량화 영역에서 성능 저하가 없음을 입증한다.
• 다양한 백본(ResNet-50/101/152, NASNet-Mobile, MobileNet-v2)에서 아키텍처를 검증한다.

실험 결과

연구 질문

• RQ1 RefineNet을 재구성하여 실시간 제약을 큰 정확도 손실 없이 충족시킬 수 있는가?
• RQ2 성능에 필수적인 RefineNet의 구성 요소는 무엇이며, 어떤 부분을 제거하거나 단순화할 수 있는가?
• RQ3 가벼운 RefineNet이 서로 다른 백본과 데이터셋에서 어떻게 수행되는가?
• RQ4 3x3 컨볼루션을 1x1 컨볼루션으로 대체하는 것이 디코더에서 맥락 정보를 보존하기에 충분한가?
• RQ5 방법이 경량 백본을 활용하면서도 경쟁력 있는 분할 품질을 유지할 수 있는가?

주요 결과

• 모델 크기를 두 배로 줄이고 FLOP를 대폭 감소시키면서 평균 IoU를 유지하거나 개선하는 twofold 감소.
• 가장 빠른 LW-RefineNet은 512×512 입력에서 55 FPS를 달성하고 PASCAL VOC 테스트 세트에서 81.1% mIoU를 달성한다.
• 가장 느린 LW-RefineNet도 VOC에서 82.7% mIoU를 달성하고 32 FPS로 더 빠르다(Original보다 여전히 빠름).
• NASNet-Mobile 및 MobileNet-v2를 사용하는 경량 변형이 매개변수와 FLOPs를 현저히 줄이면서도 VOC 결과가 경쟁력 있다.
• 변형 연구에서 CRP가 세분화 성능을 지배하는 경향이 있으며, RCU 블록 제거는 경량화 영역에서 최소 혹은 손실이 없는 것으로 나타남.
• 이 접근법은 다양한 백본과 호환되며 추가 모델 압축 기법으로 보완될 수 있다.