[논문 리뷰] Feature Pyramid Encoding Network for Real-time Semantic Segmentation

Mengyu Liu, Hujun Yin|arXiv (Cornell University)|2019. 09. 18.

Advanced Neural Network Applications참고 문헌 28인용 수 19

한 줄 요약

이 논문은 특징 피라미드 인코딩(FPE) 블록과 그룹화된 디프스와이즈 확장 컨볼루션을 사용하여 다중 척도의 맥락을 효율적으로 캡처하고, 상위 수준의 의미 정보와 하위 수준의 공간 세부 정보를 융합하기 위한 상호 임베딩 업샘플(MEU) 모듈을 갖춘 경량 실시간 세분화 네트워크인 FPENet을 제안한다. 이 방법은 TITAN V GPU에서 0.4M 파라미터와 102 FPS 추론 속도로 Cityscapes에서 68.0%의 평균 IoU를 달성하며, 기존 실시간 모델들보다 정확도와 속도 면에서 뛰어나다.

ABSTRACT

Although current deep learning methods have achieved impressive results for semantic segmentation, they incur high computational costs and have a huge number of parameters. For real-time applications, inference speed and memory usage are two important factors. To address the challenge, we propose a lightweight feature pyramid encoding network (FPENet) to make a good trade-off between accuracy and speed. Specifically, we use a feature pyramid encoding block to encode multi-scale contextual features with depthwise dilated convolutions in all stages of the encoder. A mutual embedding upsample module is introduced in the decoder to aggregate the high-level semantic features and low-level spatial details efficiently. The proposed network outperforms existing real-time methods with fewer parameters and improved inference speed on the Cityscapes and CamVid benchmark datasets. Specifically, FPENet achieves 68.0\% mean IoU on the Cityscapes test set with only 0.4M parameters and 102 FPS speed on an NVIDIA TITAN V GPU.

연구 동기 및 목표

• 최신 세분화 모델들이 높은 계산 비용과 큰 파라미터 수로 인해 실시간 배포에 어려움을 겪는 문제를 해결하기 위해.
• 가벼운 디코더에서 잃어버리는 세밀한 공간 세부 정보를 유지함으로써 실시간 세분화의 정확도를 향상시키기 위해.
• 효율적인 다중 척도 특징 인코딩과 특징 융합을 통해 모델 복잡도를 줄이면서 성능을 유지하거나 향상시키기 위해.
• 기준 데이터셋에서 추론 속도, 모델 크기, 세분화 정확도 사이의 더 나은 트레이드오프를 달성하기 위해.

제안 방법

• FPE 블록은 다양한 비율을 가진 그룹화된 디프스와이즈 확장 컨볼루션을 사용하여 계산 비용을 줄이고 다중 척도의 맥락적 특징을 캡처하는 공간 피라미드를 형성한다.
• 각 FPE 블록은 인코더의 모든 스테이지에 통합되어 네트워크의 모든 수준에서 다중 척도 특징 학습을 가능하게 한다.
• MEU 모듈은 고수준 특징에서의 전역 맥락을 사용해 저수준 특징을 안내하고, 동시에 저수준 특징의 국소 공간 세부 정보를 고수준 특징에 통합함으로써 상호 특징 임베딩을 수행한다.
• FPE 블록에서 디프스와이즈 분리 컨볼루션을 사용하여 파라미터 수를 줄이고 추론 속도를 가속화한다.
• 네트워크는 인코더에 FPE 블록과 디코더에 MEU 모듈을 사용하는 U-Net 유사한 인코더-디코더 아키텍처를 따르며, 특징 융합을 수행한다.
• 모델은 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 표준 프로토콜에 따라 Cityscapes와 CamVid에서 평가된다.

실험 결과

연구 질문

• RQ1 경량 네트워크가 실시간 추론 속도를 유지하면서도 높은 정확도의 세분화를 달성할 수 있는가?
• RQ2 그룹화된 디프스와이즈 확장 컨볼루션을 사용한 다중 척도 맥락 인코딩이 파라미터 증가를 최소화하면서 얼마나 효과적인가?
• RQ3 고수준과 저수준 특징 간의 상호 특징 임베딩이 모델 복잡도를 증가시키지 않으면서도 경계 정확도를 향상시킬 수 있는가?
• RQ4 모든 인코더 스테이지에 다중 척도 특징 인코딩을 통합하면 후기 단계의 피라미드 모듈보다 성능 향상에 기여하는가?

주요 결과

• FPENet는 TITAN V GPU에서 0.4M 파라미터와 102 FPS 추론 속도로 Cityscapes 테스트 세트에서 68.0%의 평균 IoU를 달성하며, 기존 실시간 모델들보다 속도와 정확도 면에서 뛰어나다.
• 1536×768 해상도에서 FPENet는 Cityscapes에서 70.1% mIoU를 달성하여 높은 입력 해상도에서도 강력한 성능을 보여준다.
• CamVid 데이터셋에서 FPENet는 0.4M 파라미터로 65.4% mIoU와 89.6% 전역 정확도를 달성하며, BiSeNet1과 Bayesian SegNet와 같은 모델들을 뛰어넘는다.
• 제거 분석 결과 FPE 블록이 레이어 간의 수용영역과 정보 흐름을 향상시켜 정확도를 크게 향상시킨다는 것이 확인되었다.
• MEU 모듈은 의미적 특징과 공간적 특징을 효과적으로 융합하여 더 선명한 세분화 경계와 더 나은 성능을 제공하며, 단순한 업샘플링이나 얕은 융합보다 뛰어나다.
• BiSeNet1과 ICNet보다 FPENet는 14에서 19배 작지만 경쟁 가능한 mIoU를 유지하며, 모델 압축의 효율성을 입증한다.