[논문 리뷰] MSCFNet: A Lightweight Network With Multi-Scale Context Fusion for Real-Time Semantic Segmentation

Guangwei Gao, Guoan Xu외 4명|arXiv (Cornell University)|2021. 03. 24.

Advanced Neural Network Applications참고 문헌 50인용 수 9

한 줄 요약

MSCFNet는 비대칭 인코더-디코더 아키텍처를 사용하는 다중 척도 컨텍스트 융합(MSCF) 기반의 경량 실시간 세분화 네트워크를 제안한다. 인코더에 요소 분할 깊이wise 및 확장 컨벌루션을 결합한 효율적인 비대칭 잔차(EAR) 모듈을 적용하고, 공간 및 채널 주의 메커니즘을 통합하여 높은 정확도를 달성하면서도 오직 115만 파라미터만을 사용한다. 이는 Cityscapes에서 71.9%의 mIoU를 기록하고, 50+ FPS의 추론 속도를 확보한다.

ABSTRACT

In recent years, how to strike a good trade-off between accuracy and inference speed has become the core issue for real-time semantic segmentation applications, which plays a vital role in real-world scenarios such as autonomous driving systems and drones. In this study, we devise a novel lightweight network using a multi-scale context fusion (MSCFNet) scheme, which explores an asymmetric encoder-decoder architecture to dispose this problem. More specifically, the encoder adopts some developed efficient asymmetric residual (EAR) modules, which are composed of factorization depth-wise convolution and dilation convolution. Meanwhile, instead of complicated computation, simple deconvolution is applied in the decoder to further reduce the amount of parameters while still maintaining high segmentation accuracy. Also, MSCFNet has branches with efficient attention modules from different stages of the network to well capture multi-scale contextual information. Then we combine them before the final classification to enhance the expression of the features and improve the segmentation efficiency. Comprehensive experiments on challenging datasets have demonstrated that the proposed MSCFNet, which contains only 1.15M parameters, achieves 71.9\% Mean IoU on the Cityscapes testing dataset and can run at over 50 FPS on a single Titan XP GPU configuration.

연구 동기 및 목표

• 자원 제약이 있는 응용 분야에서 정확도, 추론 속도, 모델 크기 간의 균형을 해치는 핵심적 갈등을 해결한다.
• 계산 및 메모리 비용을 크게 줄이면서도 높은 세분화 정확도를 유지하는 경량 네트워크를 설계한다.
• 다양한 네트워크 단계에서의 다중 척도 컨텍스트 정보 융합을 통해 특징 표현을 향상시킨다.
• 모델 크기와 추론 지연을 최소화하여 드론, 자율 주행 차량, 모바일 시스템과 같은 엣지 디바이스에서의 실시간 배포를 가능하게 한다.

제안 방법

• 요소 분할 깊이wise 컨벌루션과 확장 컨벌루션을 융합한 효율적인 비대칭 잔차(EAR) 모듈을 제안하여 낮은 파라미터 수로 수용 영역을 확장한다.
• 인코더는 EAR 모듈을 사용하고, 디코더는 단순한 디컨벌루션을 적용하여 효율적인 업샘플링을 수행하는 비대칭 인코더-디코더 아키텍처를 구현한다.
• 다양한 인코더 단계에서 유래한 다중 척도 주의 브랜치를 도입하여 공간 및 채널 기반의 적응적 컨텍스트 특징을 캡처한다.
• 요소별 덧셈(연결이 아닌)을 통해 다중 브랜치의 특징을 융합하여 최소한의 계산 오버헤드로 특징 표현을 향상시킨다.
• ECA(eXtreme Channel Attention)와 공간 주의 모듈을 적용하여 채널 및 공간 특징 간 상호작용을 향상시키며, 파라미터 증가를 거의 유발하지 않는다.
• EAR 블록에서 2의 거듭제곱 배율의 확장 컨벌루션을 사용하여 파라미터 수를 증가시키지 않으면서도 효과적으로 다중 척도 컨텍스트를 집계한다.

실험 결과

연구 질문

• RQ1 표준 벤치마크에서 실시간 추론 속도를 유지하면서도 높은 세분화 정확도를 달성할 수 있는 경량 네트워크가 가능한가?
• RQ2 다양한 인코더 단계에서 유래한 다중 척도 컨텍스트 융합이 단일 척도 특징 추출에 비해 세분화 성능에 어떤 영향을 미치는가?
• RQ3 실시간 세분화에서 모델 크기, 추론 속도, 정확도 사이의 최적의 균형은 무엇인가?
• RQ4 공간 및 채널 주의 메커니즘이 모델 복잡도를 크게 증가시키지 않으면서 성능 향상에 기여하는 방식은 무엇인가?
• RQ5 경량 세분화 네트워크에서 덧셈 기반 특징 융합이 연결 기반 융합보다 정확도 및 효율성 측면에서 뛰어난가?

주요 결과

• MSCFNet는 Cityscapes 검증 세트에서 71.9%의 평균 교차율(mIoU)을 기록했고, 테스트 세트에서도 동일한 71.9%를 달성하였다. 전체 파라미터 수는 115만 개에 불과하다.
• 단일 Titan XP GPU에서 50+ FPS의 속도로 실행되어 강력한 실시간 추론 능력을 입증하였다.
• ICNet에 비해 파라미터 수가 15%에 불과하지만 더 높은 정확도와 더 빠른 추론 속도를 확보하였다.
• DABNet은 약간 더 작았음(0.4M 파라미터 감소), 하지만 mIoU에서 1.8% 떨어져 MSCFNet의 뛰어난 정확도-효율성 균형을 확인시켰다.
• CamVid 데이터셋에서 MSCFNet는 69.3%의 클래스별 mIoU를 기록하여, 그 크기가 작음에도 불구하고 대부분의 최신 경량 모델을 능가하였다.
• 절단 분석 결과, 다중 척도 컨텍스트 융합이 성능을 1% 이상 향상시키며, 연결보다 덧셈 기반 융합이 더 우수한 성능을 낸다.