[논문 리뷰] Multi-Scale Context Aggregation by Dilated Convolutions

Fisher Yu, Vladlen Koltun|arXiv (Cornell University)|2015. 11. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 5인용 수 1,572

한 줄 요약

이 논문은 해상도 손실 없이 의미 분할 성능을 향상시키기 위해 확장된 컨volution을 사용한 다중 척도 맥락 집약 모듈을 제안한다. 확장된 컨볼루션을 통해 수렴 영역을 지수적으로 확장함으로써, 기존 아키텍처에 통합될 경우 이전 최고 성능 모델인 DeepLab++ 및 CRF-RNN를 능가하는 정확도 향상을 달성한다.

ABSTRACT

State-of-the-art models for semantic segmentation are based on adaptations of convolutional networks that had originally been designed for image classification. However, dense prediction and image classification are structurally different. In this work, we develop a new convolutional network module that is specifically designed for dense prediction. The presented module uses dilated convolutions to systematically aggregate multi-scale contextual information without losing resolution. The architecture is based on the fact that dilated convolutions support exponential expansion of the receptive field without loss of resolution or coverage. We show that the presented context module increases the accuracy of state-of-the-art semantic segmentation systems. In addition, we examine the adaptation of image classification networks to dense prediction and show that simplifying the adapted network can increase accuracy.

연구 동기 및 목표

• 의미 분할에서 다중 척도 맥락 추론과 전체 해상도 출력을 동시에 구현하는 과제를 해결하기 위해.
• 이미지 분류 네트워크의 변형을 넘어서, 조밀한 예측을 위해 특별히 설계된 컨볼루션 모듈을 설계하기 위해.
• 다시 사용된 분류 네트워크에서 남아있는 구성 요소들을 제거하면 조밀한 예측 작업에서 성능 향상이 이루어진다는 것을 입증하기 위해.
• 최신 세분화 아키텍처에서 제안된 맥락 모듈의 정확도 향상 효과를 평가하기 위해.

제안 방법

• 방법은 다운샘플링 없이 해상도 손실 없이 수렴 영역을 체계적으로 확장하기 위해 확장된 컨볼루션을 사용한다.
• 맥락 모듈은 풀링 또는 서브샘플링 없이, 확장된 컨volution 레이어로 이루어진 직육면체 형태의 아키텍처를 취한다.
• 확장 인자( dilation factors )를 적용하여 수렴 영역를 지수적으로 확장하면서도 전체 공간 해상도를 유지한다.
• 모듈은 플러그 앤 플레이 방식으로 기존 세분화 아키텍처의 어느 해상도에나 삽입 가능하다.
• 다중 척도 입력 처리나 반복적인 업컨볼루션을 피하기 위해 맥락 집약에 확장된 컨볼루션에 의존한다.
• 컨트롤 실험을 Pascal VOC 2012 데이터셋에서 수행하여 맥락 모듈의 기여도를 고립적으로 평가한다.

실험 결과

연구 질문

• RQ1 확장된 컨볼루션 기반의 전용 맥락 집약 모듈이 해상도 손실 없이 의미 분할 정확도를 향상시킬 수 있는가?
• RQ2 이미지 분류 네트워크에서 남아있는 구성 요소들이 조밀한 예측 작업에서 성능을 얼마나 저해하는가?
• RQ3 피라미드 형태의 아키텍처를 단일 확장된 컨볼루션 기반 모듈로 대체하면 의미 분할에서 더 나은 성능을 얻을 수 있는가?
• RQ4 CRF-RNN 및 DeepLab++과 같은 최신 모델과 비교했을 때 제안된 맥락 모듈은 정확도와 강건성 측면에서 어떤가?

주요 결과

• 구조적 예측 없이 맥락 모듈만으로도 Pascal VOC 2012 테스트 세트에서 DeepLab++ 아키텍처를 능가한다.
• CRF-RNN 구조적 예측 모듈과 함께 사용했을 때 평균 IoU가 75.3%에 도달하여, CRF-RNN 단독 사용 시 성능(74.7%)을 초월한다.
• 맥락 모듈은 VOC-2012 테스트 세트에서 평균 IoU 73.5%를 기록하여 DeepLab++의 72.7%를 넘어서는 성능을 달성한다.
• 남아있는 구성 요소가 제거된 단순화된 프론트엔드 네트워크가 이전의 이미지 분류 네트워크 변형 대비 정확도 향상을 보였다.
• 실패 사례 분석 결과, 모델은 여전히 미세한 경계나 모호한 물체 경계에서 어려움을 겪고 있어未래 개선 여지가 있음을 시사한다.