[논문 리뷰] Beyond Forward Shortcuts: Fully Convolutional Master-Slave Networks (MSNets) with Backward Skip Connections for Semantic Segmentation

Abrar H. Abdulnabi, Stefan Winkler외 1명|arXiv (Cornell University)|2017. 07. 18.

Multimodal Machine Learning Applications참고 문헌 37인용 수 5

한 줄 요약

이 논문은 후방 스킵 연결을 갖춘 완전 컨volution형 마스터-슬레이브 네트워크(MSNet)를 제안한다. 여기서 '슬레이브' 네트워크는 고수준의 맥락적 특징을 '마스터' 네트워크의 저수준 레이어에 피드백하여 특징 학습을 향상시킨다. 이 방법은 ADE20K, PASCAL-Context, PASCAL VOC 2011에서 기존의 전방 스킵만을 사용하는 기준 모델보다 우수한 성능을 기록하며, 저수준 특징에서의 조기 맥락 인식을 가능하게 한다.

ABSTRACT

Recent deep CNNs contain forward shortcut connections; i.e. skip connections from low to high layers. Reusing features from lower layers that have higher resolution (location information) benefit higher layers to recover lost details and mitigate information degradation. However, during inference the lower layers do not know about high layer features, although they contain contextual high semantics that benefit low layers to adaptively extract informative features for later layers. In this paper, we study the influence of backward skip connections which are in the opposite direction to forward shortcuts, i.e. paths from high layers to low layers. To achieve this -- which indeed runs counter to the nature of feed-forward networks -- we propose a new fully convolutional model that consists of a pair of networks. A `Slave' network is dedicated to provide the backward connections from its top layers to the `Master' network's bottom layers. The Master network is used to produce the final label predictions. In our experiments we validate the proposed FCN model on ADE20K (ImageNet scene parsing), PASCAL-Context, and PASCAL VOC 2011 datasets.

연구 동기 및 목표

• 표준 FCN에서 특징 추출 과정 중 저수준 레이어가 고수준 맥락을 인지하지 못하는 한계를 해결하기 위해.
• 고수준에서 저수준 레이어로 특징을 전달하는 후방 스킵 연결이 의미 분할 성능 향상에 기여하는지 조사하기 위해.
• 순환 종속성을 유발하지 않으면서도 후방 정보 흐름을 가능하게 하는 학습 가능한 종단 간 완전 컨볼루션 아키텍처를 설계하기 위해.
• 네트워크가 본질적으로 전방향 구조임에도 불구하고 고수준 특징이 저수준 특징 학습에 유익하다는 것을 입증하기 위해.

제안 방법

• 모델은 두 개의 동일한 FCN-8s 네트워크로 구성되며, 최종 예측을 위한 '마스터'와 후방 스킵 연결을 제공하기 위한 '슬레이브'로 나뉜다.
• 후방 스킵 연결은 슬레이브 네트워크의 고수준 레이어에서 마스터 네트워크의 대응하는 저수준 레이어로 특징 맵을 전달한다.
• 원래의 pool3 및 pool4 스킵 외에도 마스터 네트워크에 추가적인 전방 스킵 연결이 통합된다.
• 전체 MSNet은 종단 간으로 학습되며, 슬레이브 네트워크는 출력을 생성하지 않고 오직 특징 피드백 기능만 수행한다.
• 슬레이브의 최상위 레이어에서 생성된 특징 맵은 업샘플링되어 마스터의 저수준 특징과 연결되어 조기 표현을 풍부하게 한다.
• 예측 경로와 피드백 경로를 분리함으로써 순환 종속성을 피하고, 전방향 아키텍처를 유지함으로써 순환 종속성을 방지한다.

실험 결과

연구 질문

• RQ1 고수준에서 저수준 레이어로의 후방 스킵 연결이 완전 컨볼루션 네트워크에서 의미 분할 성능 향상에 기여하는가?
• RQ2 저수준 레이어에 고수준 맥락적 특징을 제공함으로써 조기 레이어에서 더 정보적인 특징 학습이 가능해지는가?
• RQ3 표준 전방 스킵 연결과 비교했을 때 후방 스킵 연결의 성능은 어떻게 되는가?
• RQ4 표준 FCN에 후방 스킵 연결을 통합할 수 있는가, 이는 전방향 계산 그래프를 깨뜨리지 않는가?
• RQ5 제안된 MSNet 아키텍처는 CRF와 같은 기존의 맥락 모델링 기법과 상호보완적인가?

주요 결과

• 후방 스킵 연결만을 사용하는 MSNet-FB2는 ADE20K, PASCAL-Context, PASCAL VOC 2011에서 모두 FCN-8s-F1 및 FCN-8s-F2를 능가하여 후방 연결의 효과를 입증한다.
• PASCAL-Context 검증 세트에서 MSNet-FB1은 73.0% 픽셀 정확도, 53.5% 클래스 정확도, 42.1% 교차율을 기록하며, FCN-8s 및 기타 기준 모델을 초월한다.
• ADE20K 검증 세트에서 MSNet-FB2는 75.7% 픽셀 정확도와 33.8% IU를 기록하여, 동일 기준에서 FCN-8s 및 기타 방법을 능가한다.
• PASCAL VOC 2011 테스트 세트에서 MSNet-FB2는 70.5% IU를 기록하여, FCN-8s(62.7%)를 크게 능가하며 최신 기술 수준에 가까워진다.
• 완전 연결 CRF를 결합한 MSNet-FB2+CRF는 MSNet-FB2보다 1.0% 향상된 성능을 기록하여, 기존 맥락 모델링 기법과의 상호보완성을 확인한다.
• 결과는 고수준 특징이 표준 전방향 네트워크 아키텍처에서도 저수준 특징 추출에 상당한 유익함을 제공한다는 것을 보여준다.