[논문 리뷰] Global Context-Aware Progressive Aggregation Network for Salient Object Detection

Zuyao Chen, Qianqian Xu외 2명|arXiv (Cornell University)|2020. 03. 02.

Visual Attention and Saliency Detection참고 문헌 38인용 수 14

한 줄 요약

이 논문은 특징 상호혼합 융합(FIA), 헤드 어텐션(HA), 자기 개선(SR), 글로벌 컨텍스트 플로우(GCF) 모듈을 통해 저수준 세부 정보, 고수준 의미 정보 및 글로벌 컨텍스트를 통합하는 전역적 컨텍스트 인식 프로그레시브 아그리게이션 네트워크인 GCPANet을 제안한다. 이 방법은 특징 희석을 완화하고 컨텍스트 이해를 향상시켜 여섯 개의 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Deep convolutional neural networks have achieved competitive performance in salient object detection, in which how to learn effective and comprehensive features plays a critical role. Most of the previous works mainly adopted multiple level feature integration yet ignored the gap between different features. Besides, there also exists a dilution process of high-level features as they passed on the top-down pathway. To remedy these issues, we propose a novel network named GCPANet to effectively integrate low-level appearance features, high-level semantic features, and global context features through some progressive context-aware Feature Interweaved Aggregation (FIA) modules and generate the saliency map in a supervised way. Moreover, a Head Attention (HA) module is used to reduce information redundancy and enhance the top layers features by leveraging the spatial and channel-wise attention, and the Self Refinement (SR) module is utilized to further refine and heighten the input features. Furthermore, we design the Global Context Flow (GCF) module to generate the global context information at different stages, which aims to learn the relationship among different salient regions and alleviate the dilution effect of high-level features. Experimental results on six benchmark datasets demonstrate that the proposed approach outperforms the state-of-the-art methods both quantitatively and qualitatively.

연구 동기 및 목표

• 사소한 객체 검출에서 다수 수준의 특징 간 격차를 해결하기 위해, 특히 저수준 세부 정보와 고수준 의미 정보의 기여 불균형 문제를 해결한다.
• 에코더-디코더 네트워크에서 상향식 특징 전파 동안 고수준 특징의 희석을 완화한다.
• 다중 사소한 영역 간의 관계를 포괄하는 글로벌 컨텍스트 정보를 통합하여 보다 완전하고 일관된 사소성 맵을 생성한다.
• 심층 레이어에서 공간적 및 채널 방향 어텐션을 향상시켜 재현율을 줄이고 특징 표현을 향상시킨다.
• 다양한 스케일과 글로벌 특징을 컨텍스트 인식 방식으로 효과적으로 융합하는 프로그레시브 아그리게이션 프레임워크를 설계한다.

제안 방법

• 특징 상호혼합 융합(FIA) 모듈은 다중 경로 방식으로 저수준 외관 특징, 고수준 의미 특징, 글로벌 컨텍스트 특징을 점진적으로 융합하여 구조적 세부 정보와 의미 일관성을 유지한다.
• 헤드 어텐션(HA) 모듈은 공간적 및 채널 방향 어텐션을 적용하여 상단 레이어 특징을 향상시켜 배경 노이즈를 억제하고 사소한 영역을 강조한다.
• 자기 개선(SR) 모듈은 내부 특징 상관관계를 활용해 반복적으로 특징 맵을 개선하여 표현 품질을 향상시킨다.
• 글로벌 컨텍스트 플로우(GCF) 모듈은 병렬 브랜치를 사용해 단계별 글로벌 컨텍스트 특징을 생성하여 다중 스케일에서 컨텍스트 인식 특징 향상과 특징 희석 감소를 가능하게 한다.
• FIA 및 SR 모듈을 각 디코더 단계에 적용하여 업샘플링 이전에 특징을 정밀하게 보정하는 U-Net 유사 에코더-디코더 아키텍처를 채택한다.
• GCF 모듈은 글로벌 평균 풀링과 다층 퍼셉트론을 사용해 글로벌 컨텍스트를 추출하고, 이를 적응적으로 조정하여 다양한 단계의 특징 맵에 주입한다.

실험 결과

연구 질문

• RQ1 저수준, 고수준, 글로벌 컨텍스트 특징을 효과적으로 융합하여 구조적 또는 의미 정보 손실 없이 사소성 검출 성능을 향상시킬 수 있는가?
• RQ2 어떻게 어텐션 메커니즘이 네트워크의 심층 레이어에서 재현율을 줄이고 특징의 구분 능력을 향상시킬 수 있는가?
• RQ3 단계별 글로벌 컨텍스트 특징은 상향식 특징 전파 중 고수준 특징의 희석을 완화하는가?
• RQ4 FIA 및 SR 모듈을 통한 점진적 특징 융합이 사소성 맵의 경계 정밀도와 완전성에 어떤 영향을 미치는가?
• RQ5 각 제안된 구성 요소(FIA, HA, SR, GCF)가 전체 성능 향상에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• 제안된 GCPANet는 여섯 개의 벤치마크 데이터셋에서 F-측정, S-측정 및 MAE 기준으로 12개의 최신 기술 수준(SOTA) 방법 중 최고 성능을 기록한다.
• ECSSD 데이터셋에서 모든 구성 요소(FIA, SR, HA, GCF)를 포함한 전체 모델은 MAE 0.0348을 달성하여 기준 모델(0.0456) 대비 24.5% 향상되었다.
• 제거 실험 결과, FIA만 있는 기준 모델 대비 SR 모듈을 추가하면 MAE가 14% 감소한다.
• 단계별 글로벌 컨텍스트를 사용하는 GCF 모듈은 공유 글로벌 컨텍스트 설정보다 우수하며, ECSSD에서 MAE가 3.6% 감소(0.0348 vs. 0.0361)하였다.
• 정성적 결과는 배경/전경 간섭에 대해 뛰어난 강건성과 다중 사소한 객체 간 관계를 더 잘 이해하는 능력을 보였다.
• PR 및 F-측정 곡선은 모든 임계값에서 일관된 우수성을 보여 모델의 강건성과 일반화 능력을 확인한다.