[논문 리뷰] Mixed context networks for semantic segmentation

Haiming Sun, Di Xie외 1명|arXiv (Cornell University)|2016. 10. 19.

Advanced Neural Network Applications참고 문헌 15인용 수 4

한 줄 요약

이 논문은 다양한 수축률을 가진 다이레이티드 컨볼루션에서 유래한 특징을 동적으로 융합함으로써 의미 분할 성능을 햖थ하는 새로운 모듈인 믹스드 컨텍스트 네트워크(MCN)를 제안한다. 다양한 척도의 관련 특징을 적응적으로 가중하는 방식으로, PASCAL VOC 2012(80.6% 평균 IoU)와 MIT SceneParsing150(다중 척도 입력 시 41.58% 평균 IoU)에서 이전의 FCN 기반 모델을 능가하는 성능을 달성한다.

ABSTRACT

Semantic segmentation is challenging as it requires both object-level information and pixel-level accuracy. Recently, FCN-based systems gained great improvement in this area. Unlike classification networks, combining features of different layers plays an important role in these dense prediction models, as these features contains information of different levels. A number of models have been proposed to show how to use these features. However, what is the best architecture to make use of features of different layers is still a question. In this paper, we propose a module, called mixed context network, and show that our presented system outperforms most existing semantic segmentation systems by making use of this module.

연구 동기 및 목표

• 의미 분할에서 다중 척도 컨텍스트를 보다 효과적으로 포착하기 위한 특징 융합 기법의 개선에 도전한다.
• 다양한 샘플링 속도를 가진 다이레이티드 컨볼루션에서 유래한 특징을 동적으로 조합할 수 있는 학습 가능한 모듈을 설계한다.
• 계산 비용을 과도하게 증가시키지 않으면서도 객체 수준 및 픽셀 수준의 정확도를 향상시킨다.
• PASCAL VOC 2012 및 MIT SceneParsing150와 같이 대규모 객체 크기 변동이 심한 데이터셋에서의 성능 향상을 도모한다.

제안 방법

• 다양한 샘플링 속도를 가진 다이레이티드 컨볼루션 레이어에서 유래한 특징 맵을 융합하는 학습 가능한 모듈인 믹스드 컨텍스트 네트워크(MCN)를 제안한다.
• 각 브랜치가 다른 수축률을 가진 다이레이티드 컨볼루션을 적용하여 다양한 수축률을 가진 수축 영역을 포착하는 다중 브랜치 아키텍처를 사용한다.
• 학습 가능한 가중치를 사용하여 특징을 동적으로 융합함으로써, 네트워크가 각 공간 위치에 대해 가장 관련성이 높은 척도를 자동으로 식별할 수 있도록 한다.
• 예측 레이블 간 공간 일관성을 강제하기 위해 메모리 효율적인 소통 네트워크(MPN)를 도입한다.
• MCN를 FCN-32s 백본 이후에 플러그인 모듈로 통합하며, conv4_3, conv5_3, fc7의 특징 맵을 입력으로 사용한다.
• 긴 연결과 짧은 연결을 적용하여 최종 아키텍처에서 기울기 흐름과 특징 전파를 향상시킨다.

실험 결과

연구 질문

• RQ1 학습 가능한 융합 메커니즘이 의미 분할에서 고정 또는 선형 조합보다 우월한 성능을 낼 수 있는가?
• RQ2 다양한 크기의 객체에 대해 다이레이티드 컨볼루션 간 특징 가중치를 적응적으로 조절하면 성능에 어떤 영향을 미치는가?
• RQ3 제안된 MCN 모듈은 복잡한 시나리오 레이아웃과 클래스 불균형이 있는 다양한 데이터셋에 일반화 가능한가?
• RQ4 메모리 효율적인 정밀화 모듈인 MPN은 추론 비용을 증가시키지 않으면서도 공간 일관성을 향상시킬 수 있는가?

주요 결과

• MCN 모듈은 PASCAL VOC 2012 검증 세트에서 80.6% 평균 IoU를 달성하여, FCN-32s 기준선(78.4%)과 다른 변종을 능가한다.
• 다중 척도 입력을 사용할 경우, FCN_MCN 모델은 PASCAL VOC 2012 테스트 세트에서 81.4% 평균 IoU를 기록한다.
• MIT SceneParsing150에서, FCN_MCN_REFINE_MPN + 다중 척도 모델은 검증 세트에서 41.58% 평균 IoU를 달성한다.
• 메시지 전달 네트워크(MPN)는 공간 일관성을 향상시켜 FCN_MCN_REFINE 대비 0.48%의 절대 IoU 향상을 기여한다.
• MCN에 장거리 연결을 추가하면 FCN_MCN 대비 0.4% 향상되며, 잔차 학습이 특징 전파를 향상시킨다는 것을 시사한다.
• MCN 모듈은 PASCAL VOC 2012와 MIT SceneParsing150 양쪽 모두에서 일관된 성능 향상을 보이며, 데이터셋 및 척도 변동에 대한 강건성을 입증한다.