[논문 리뷰] GFF: Gated Fully Fusion for Semantic Segmentation

Xiangtai Li, Houlong Zhao외 3명|arXiv (Cornell University)|2019. 04. 03.

Advanced Neural Network Applications참고 문헌 56인용 수 35

한 줄 요약

게이트를 활용해 다중 수준의 특징을 선택적으로 융합하는 Gated Fully Fusion (GFF)를 도입하고, Dense Feature Pyramid로 강화하여 Cityscapes, Pascal Context, COCO-stuff, ADE20K에서 최첨단 수준의 시맨틱 세분화를 달성한다.

ABSTRACT

Semantic segmentation generates comprehensive understanding of scenes through densely predicting the category for each pixel. High-level features from Deep Convolutional Neural Networks already demonstrate their effectiveness in semantic segmentation tasks, however the coarse resolution of high-level features often leads to inferior results for small/thin objects where detailed information is important. It is natural to consider importing low level features to compensate for the lost detailed information in high-level features.Unfortunately, simply combining multi-level features suffers from the semantic gap among them. In this paper, we propose a new architecture, named Gated Fully Fusion (GFF), to selectively fuse features from multiple levels using gates in a fully connected way. Specifically, features at each level are enhanced by higher-level features with stronger semantics and lower-level features with more details, and gates are used to control the propagation of useful information which significantly reduces the noises during fusion. We achieve the state of the art results on four challenging scene parsing datasets including Cityscapes, Pascal Context, COCO-stuff and ADE20K.

연구 동기 및 목표

• 고수준 시맨틱 정보와 고해상도 디테일을 모두 활용하여 시맨틱 세분화를 개선하고자 한다.
• 다중 특징 수준 간 정보 전파를 선택적으로 통제하는 융합 메커니즘을 개발한다.
• 다단계 특징의 시맨틱 표현 향상을 위해 컨텍스트 모델링을 Incorporate 한다.
• 여러 표준 장면 해석 벤치마크에서 최첨단 성능을 보여준다.

제안 방법

• Gated Fully Fusion (GFF)를 제안하여 각 피셀의 게이트로 정보 전파를 제어하는 다중 수준 특징 융합을 수행한다.
• 게이트 맵 G_l을 sigmoid(w_l * X_l)로 정의하여 융합 중 송신자와 수신자 정보를 조절한다.
• 각 레벨 l에서의 융합을 게이트 추가로 정의: X̃_l = (1+G_l)·X_l + (1−G_l)·∑_{i≠l} G_i·X_i.
• Dense Feature Pyramid (DFP)를 도입하여 PSPNet 스타일의 컨텍스트를 모든 피처 맵에 밀집하게 연결하여 맥락 단서를 풍부하게 한다.
• 주요 세그멘테이션 손실과 중간 ResNet 스테이지에 대한 보조 손실을 함께 최적화하여 엔드투엔드로 학습한다.
• 선택적으로 백본 융합에 상향식 게이티드 경로를 추가하고 정확도와 계산 비용을 함께 평가한다.

실험 결과

연구 질문

• RQ1 게이트가 적용된 완전 연결 다중 수준 특징 융합이 전통적인 지역적 혹은 상향식 융합 방법보다 세분화 정확도를 향상시키는가?
• RQ2 피셀 단위 게이트가 융합 중 노이즈 정보를 효과적으로 억제하여 작은 물체의 디테일까지 보존하는가?
• RQ3 DFP를 추가하는 것이 맥락 모델링과 최종 세분화 성능에 어떤 영향을 주는가?
• RQ4 GFF와 DFP의 개선은 다양한 데이터세트와 백본에서 일관적인가?
• RQ5 GFF와 DFP를 기존 아키텍처에 통합할 때 정확도 증가와 계산 비용 간의 트레이드오프는 어떻게 되는가?

주요 결과

• GFF는 Cityscapes 검증에서 PSPNet 기반선 및 다른 융합 변형들보다 일관되게 향상되어 PSPNet + GFF에서 80.4% mIoU를 달성한다.
• DFP를 추가하면 GFF + DFP에서 81.2%로, 다중 스케일 추론(MS)로는 81.8%로 성능이 더욱 향상된다.
• ResNet101 백본으로는 Cityscapes 테스트 세트에서 82.3% mIoU에 도달하고, WiderResNet으로는 정교 데이터로만 학습했을 때 83.3% mIoU에 도달한다.
• GFF는 전통적 융합 방법인 연결(concatenation), 더하기(addition), FPN에 비해 작은 물체 및 물체 경계의 처리를 우수하게 보여준다.
• Pascal Context, COCO-stuff, ADE20K 전반에서 GFFNet 변형들이 최상위 혹은 거의 최상위 결과를 달성하여 데이터세트와 백본에 걸친 일반성을 시사한다.