[논문 리뷰] Gated Feedback Refinement Network for Coarse-to-Fine Dense Semantic Image Labeling

Md Amirul Islam, Mrigank Rochan외 3명|arXiv (Cornell University)|2018. 06. 29.

Advanced Neural Network Applications참고 문헌 55인용 수 20

한 줄 요약

이 논문은 의미 분할 예측을 근사에서 정밀으로 향하는 방식으로 개선하기 위해 게이팅 피드백 연결을 사용하는 새로운 인코더-디코더 아키텍처인 게이팅 피드백 개선 네트워크(G-FRNet)를 제안한다. 이는 모호성을 해결하고 국소적 및 전역적 맥락을 통합하는 데 기여한다. G-FRNet는 CamVid와 Horse-Cow Parsing에서 최신 기술 수준(SOTA) 성능을 달성하였으며, PASCAL VOC 2012, PASCAL-Person-Part, SUN-RGBD 데이터셋에서도 경쟁 가능한 결과를 보이며, 게이팅 메커니즘과 깊이 있는 감독의 효과를 입증한다.

ABSTRACT

Effective integration of local and global contextual information is crucial for semantic segmentation and dense image labeling. We develop two encoder-decoder based deep learning architectures to address this problem. We first propose a network architecture called Label Refinement Network (LRN) that predicts segmentation labels in a coarse-to-fine fashion at several spatial resolutions. In this network, we also define loss functions at several stages to provide supervision at different stages of training. However, there are limits to the quality of refinement possible if ambiguous information is passed forward. In order to address this issue, we also propose Gated Feedback Refinement Network (G-FRNet) that addresses this limitation. Initially, G-FRNet makes a coarse-grained prediction which it progressively refines to recover details by effectively integrating local and global contextual information during the refinement stages. This is achieved by gate units proposed in this work, that control information passed forward in order to resolve the ambiguity. Experiments were conducted on four challenging dense labeling datasets (CamVid, PASCAL VOC 2012, Horse-Cow Parsing, PASCAL-Person-Part, and SUN-RGBD). G-FRNet achieves state-of-the-art semantic segmentation results on the CamVid and Horse-Cow Parsing datasets and produces results competitive with the best performing approaches that appear in the literature for the other three datasets.

연구 동기 및 목표

• 밀도 높은 의미적 이미지 레이블링에서 국소적 세부 사항과 전역적 맥락을 균형 있게 유지하는 과제를 해결하기 위해.
• 딥 네트워크의 인코딩 과정에서 발생하는 특징의 모호성과 공간 해상도 손실의 한계를 극복하기 위해.
• 더 깊은 층에서 온 게이팅 피드백을 활용해 근사 예측을 반복적으로 개선함으로써 분할 정확도를 향상시키기 위해.
• 특징 흐름을 조절하는 데 효과적인 신규 게이팅 메커니즘의 임무를 입증하기 위해.
• 훈련 안정성과 성능 향상을 향상시키기 위해 다양한 단계에서 깊이 있는 감독을 제공하기 위해.

제안 방법

• 저해상도에서 고해상도로 향하는 근사에서 정밀으로의 반복적 개선 프레임워크를 제안한다.
• 인코더에서 디코더로의 특징 흐름을 조절하는 게이트 유닛을 도입하여, 모호성을 해결하기 위해 관련 특징만 선택적으로 전달한다.
• 승수 게이팅(요소별 곱셈)을 사용하여 고수준 맥락 기반으로 잘못된 표현은 억제하고 올바른 표현은 강화한다.
• 인코더와 디코더 레이어 간의 스킵 연결을 활용하여 초기 특징 맵의 공간적 세부 사항을 유지한다.
• 훈련을 이끌고 수렴을 향상시키기 위해 다양한 단계에서 다중 깊이 감독 손실을 적용한다.
• 학습 가능한 게이트를 갖춘 순환 유사 피드백 경로를 추가함으로써, 어떤 피드포워드 ConvNet이라도 개선할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 게이팅 피드백이 있는 근사에서 정밀으로의 개선 전략이 표준 인코더-디코더 네트워크를 초월해 밀도 높은 이미지 레이블링을 향상시킬 수 있는가?
• RQ2 고수준 맥락을 활용해 초기 저해상도 특징의 모호성을 해결하는 데 승수 게이팅 메커니즘이 얼마나 효과적인가?
• RQ3 다양한 단계에서의 깊이 있는 감독이 의미 분할 모델의 성능과 안정성을 향상시키는가?
• RQ4 제안된 아키텍처가 다양한 객체 크기와 시나리오 복잡도를 가진 다양한 데이터셋에 일반화되는가?
• RQ5 스킵 연결과 게이팅 피드백이 의미 분할에서 오류 전파를 얼마나 줄이는가?

주요 결과

• G-FRNet는 CamVid 데이터셋에서 평균 교차율(mIoU) 71.6%로 최신 기술 수준(SOTA) 성능을 달성하였다.
• Horse-Cow Parsing 데이터셋에서 G-FRNet는 mIoU 86.3%를 기록하여 이전 방법들을 능가하였다.
• PASCAL VOC 2012에서 G-FRNet는 검증 세트에서 68.7%의 mIoU를 기록하여, 기준선인 레이블 개선 네트워크(LRN)의 66.76%보다 뚜렷이 뛰어났다.
• 제거 분석 결과, 승수 게이팅 메커니즘이 덧셈 상호작용보다 우수하며, mIoU를 1.94%p 향상시켰다.
• 정성적 결과는 다양한 조명 조건에서도 기둥 기둥, 보행자, 자전거 등의 세부 사항을 더 잘 국소화함을 보여주었다.
• 모델는 아키텍처 수정 없이도 다양한 데이터셋에 대해 강력한 일반화 능력을 보이며, PASCAL-Person-Part와 SUN-RGBD에서도 경쟁 가능한 성능을 달성하였다.