[논문 리뷰] Learning a Discriminative Feature Network for Semantic Segmentation

Changqian Yu, Jingbo Wang외 4명|arXiv (Cornell University)|2018. 04. 25.

Multimodal Machine Learning Applications참고 문헌 33인용 수 88

한 줄 요약

Discriminative Feature Network (DFN)을 도입하되, 내부 클래스 일관성을 위한 Smooth Network와 클래스 간 구별을 위한 Border Network를 통해 포스트프로세싱 없이 VOC 2012 및 Cityscapes에서 최첨단 성능을 달성합니다.

ABSTRACT

Most existing methods of semantic segmentation still suffer from two aspects of challenges: intra-class inconsistency and inter-class indistinction. To tackle these two problems, we propose a Discriminative Feature Network (DFN), which contains two sub-networks: Smooth Network and Border Network. Specifically, to handle the intra-class inconsistency problem, we specially design a Smooth Network with Channel Attention Block and global average pooling to select the more discriminative features. Furthermore, we propose a Border Network to make the bilateral features of boundary distinguishable with deep semantic boundary supervision. Based on our proposed DFN, we achieve state-of-the-art performance 86.2% mean IOU on PASCAL VOC 2012 and 80.3% mean IOU on Cityscapes dataset.

연구 동기 및 목표

• 시맨틱 분할을 macroscopic 관점에서 재정의하여 intra-class 일관성과 inter-class 구분을 강화한다.
• 다중 스케일에서의 강건하고 식별 가능한 특징을 학습하고 의미 경계상으로도 이를 학습하는 네트워크를 개발한다.
• 글로벌 컨텍스트, 채널-별 주의력, 명시적 시맨틱 경계 supervision을 통합하여 분할 정확도를 향상시킨다.

제안 방법

• Global 평균 풀링과 채널 주의력 블록을 갖춘 U/V-모양 백본을 사용하여 여러 스케일에서 판별 가능한 특징을 선택하는 Smooth Network를 제안한다.
• 경계에서의 클래스 간 구별 강화를 위해 깊은 지도학습과 의미 경계 손실(focal loss)을 포함한 Border Network를 도입한다.
• 채널 차원을 일치시키고 단계 간 특징을 정교화하기 위한 Refinement Residual Blocks를 사용한다.
• Segmentation을 위한 상향식(top-down)과 경계용 하향식(bottom-up) 프레임워크로 Smooth와 Border Network를 양방향으로 결합한다.
• 공동 손실 L = ell_s + lambda * ell_b를 최적화하여 분할 감독과 경계 감독의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 분할의 거시적 관점이 픽셀 단위 방법에 비해 intra-class 일관성과 inter-class 구분을 향상시킬 수 있는가?
• RQ2 글로벌 컨텍스트로 작동하는 Smooth Network와 의미 경계로 작동하는 Border Network가 표준 벤치마크에서 평균 IoU를 향상시키는가?
• RQ3 채널 주의, 글로벌 풀링, 깊은 지도학습, 경계 감독이 최종 분할 성능에 미치는 영향은 무엇인가?

주요 결과

데이터세트	방법	평균 IOU (%)
PASCAL VOC 2012 (test)	DFN (final)	86.2
Cityscapes (test)	DFN (final)	80.3

• DFN은 COCO 미세조정 후 테스트 세트에서 평균 IoU 86.2%로 PASCAL VOC 2012에서 최첨단 성능을 달성합니다.
• DFN은 Cityscapes 테스트 세트에서 평균 IoU 80.3%를 달성합니다.
• 글로벌 풀링과 Channel Attention Block을 갖춘 Smooth Network가 평균 IoU를 크게 개선합니다(예: ablations에서 72.86%에서 79.54%로 상승).
• 의미 경계 감독을 갖춘 Border Network가 추가 이득을 제공하여 정확도를 더 높입니다(예: 79.54%에서 79.67%로 증가).
• 다중 스케일 입력과 수평 뒤집기(MS_Flip)가 VOC2012 테스트에서 구성에 따라 80.01–80.60%로 성능을 더 높입니다.
• DFN은 DenseCRF와 같은 포스트-프로세싱 없이도 데이터셋 간에 강건한 개선을 보여줍니다.