[논문 리뷰] Global Aggregation then Local Distribution in Fully Convolutional Networks

Xiangtai Li, Li Zhang외 4명|arXiv (Cornell University)|2019. 09. 16.

Advanced Neural Network Applications참고 문헌 40인용 수 34

한 줄 요약

GALD는 Global Aggregation과 Local Distribution 모듈을 결합하여 위치별 글로벌 컨텍스트를 적응적으로 분배하고, 벤치마크 전반에서 시맨틱 세분화, 객체 탐지 및 인스턴스 세분화를 개선합니다.

ABSTRACT

It has been widely proven that modelling long-range dependencies in fully convolutional networks (FCNs) via global aggregation modules is critical for complex scene understanding tasks such as semantic segmentation and object detection. However, global aggregation is often dominated by features of large patterns and tends to oversmooth regions that contain small patterns (e.g., boundaries and small objects). To resolve this problem, we propose to first use \emph{Global Aggregation} and then \emph{Local Distribution}, which is called GALD, where long-range dependencies are more confidently used inside large pattern regions and vice versa. The size of each pattern at each position is estimated in the network as a per-channel mask map. GALD is end-to-end trainable and can be easily plugged into existing FCNs with various global aggregation modules for a wide range of vision tasks, and consistently improves the performance of state-of-the-art object detection and instance segmentation approaches. In particular, GALD used in semantic segmentation achieves new state-of-the-art performance on Cityscapes test set with mIoU 83.3\%. Code is available at: \url{https://github.com/lxtGH/GALD-Net}

연구 동기 및 목표

• 글로벌 집계(global aggregation)을 FCN에서 사용할 때 작은 패턴의 과도한 스무딩 문제를 addressed해야 한다는 점을 동기화한다.
• 채널별 마스크 맵을 통해 글로벌 특징을 적응적으로 분배하도록 GALD를 제안한다.
• GALD가 기존 GA 모듈 및 백본과의 호환성을 다양한 작업에서 보장함을 보여준다.
• 시맨틱 세분화, 객체 탐지, 인스턴스 세분화에서 성능 향상을 보여준다.]

제안 방법

• 백본 특징 F로부터 거친 글로벌 특징 F_GA를 계산하기 위해 Global Aggregation(GA) 모듈을 사용한다.
• LD(Local Distribution)은 F_GA에 대해 채널별 마스크 맵 M을 깊이 방향 합성(convolutions)으로 학습하여 F_GALD = M ⊙ F_GA + F_GA를 생성한다.
• 최종 특징 F_o를 구성하기 위해 F_GALD를 원래의 F와 연결(concatenate)하여 세그멘테이션, 탐지 등 작업 헤드에 전달한다.
• LD의 마스크 M은 M = σ(upsample(W_d F_GA))로 생성되며, σ는 시그모이드이고 W_d는 깊이별 필터이다.
• GA 모듈은 기존의 어떤 GA 설계(CGNL, NL, PSP, ASPP 등)라도 될 수 있으며 LD는 보편적으로 호환된다.
• 학습은 표준 목표를 사용하되 세분화에 대해 선택적으로 Online Hard Example Mining(OHEM)을 적용할 수 있다.

실험 결과

연구 질문

• RQ1 글로벌 맥락의 적응형 로컬 분포가 FCN의 작은 패턴 영역과 큰 패턴 영역에 어떤 영향을 미치는가?
• RQ2 GALD가 다양한 GA 모듈과 백본에 부착되었을 때 시맨틱 세분화, 탐지, 인스턴스 세분화 작업에서 일관되게 성능을 개선하는가?
• RQ3 LD 모듈의 효과에 대한 다양한 마스크 하강 샘플링 전략이 미치는 영향은 무엇인가?
• RQ4 GALD가 표준 백본으로 Cityscapes에서 단일 모델 최첨차 성능을 달성하는가?
• RQ5 Cityscapes에 Mapillary 같은 추가 데이터 소스를 사용했을 때 GALD의 성능은 어떤가?

주요 결과

방법	mIoU(%)	Δ a	Δ b
FCN (Baseline)	73.7	-	-
+LD	77.5	3.8↑	-
+PSP + LD	78.9	5.2↑	2.7↑
+ASPP + LD	79.5	5.4↑	2.3↑
+NL + LD	79.2	5.3↑	1.2↑
+CGNL + LD	79.6	5.9↑	1.4↑

• GALD는 FCN 백본에 연결될 때 시맨틱 세분화를 위한 GA 모듈(CGNL, NL, PSP, ASPP 등)을 지속적으로 개선한다.
• Cityscapes 시맨틱 세분화에서 단일 모델 ResNet101 GALD 구성은 테스트 세트에서 83.3% mIoU를 달성한다(Mapillary 데이터 포함).
• LD만으로도 FCN의 성능이 3.8% p의 mIoU 향상을 보이며; GALD(GA + LD)는 구성에 따라 가장 큰 이득을 제공한다.
• Pascal VOC 탐지 및 COCO 인스턴스 세분화에서 GALD는 강력한 베이스라인에 비해 AP-box 및 AP-mask에서 약 0.5–1.0%의 이득을 제공한다.
• 마스크 추정에 대한 깊이 방향 다운샘플링이 실험된 전략들 중 최적의 성능을 보였으며, CGNL+LD가 여러 설정에서 가장 강력한 결과를 보였다.
• 기본 Faster R-CNN 및 Mask R-CNN with ResNet 백본과 비교할 때 GALD는 mAP@0.5 및 AP-mask를 향상시켜 작업 및 데이터셋 전반에서 일반화 가능성을 보여준다.