[논문 리뷰] Dual-attention Focused Module for Weakly Supervised Object Localization

Yukun Zhou, Zailiang Chen외 4명|arXiv (Cornell University)|2019. 09. 11.

Advanced Neural Network Applications참고 문헌 30인용 수 4

한 줄 요약

이 논문은 약한 지도 학습 객체 탐지를 위한 새로운 주의 메커니즘인 이중 주의 집중 모듈(Dual-attention Focused Module, DFM)을 제안한다. DFM은 공간적 주의와 채널별 주의를 동시에 모델링하여 특징 표현을 향상시킨다. 위치 분량과 채널 분량을 집중 행렬 정규화와 특징 융합과 함께 통합함으로써, 정확도를 향상시키고 ILSVRC 2016 및 CUB-200-2011 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The research on recognizing the most discriminative regions provides referential information for weakly supervised object localization with only image-level annotations. However, the most discriminative regions usually conceal the other parts of the object, thereby impeding entire object recognition and localization. To tackle this problem, the Dual-attention Focused Module (DFM) is proposed to enhance object localization performance. Specifically, we present a dual attention module for information fusion, consisting of a position branch and a channel one. In each branch, the input feature map is deduced into an enhancement map and a mask map, thereby highlighting the most discriminative parts or hiding them. For the position mask map, we introduce a focused matrix to enhance it, which utilizes the principle that the pixels of an object are continuous. Between these two branches, the enhancement map is integrated with the mask map, aiming at partially compensating the lost information and diversifies the features. With the dual-attention module and focused matrix, the entire object region could be precisely recognized with implicit information. We demonstrate outperforming results of DFM in experiments. In particular, DFM achieves state-of-the-art performance in localization accuracy in ILSVRC 2016 and CUB-200-2011.

연구 동기 및 목표

• 약한 지도 학습 객체 탐지에서 이미지 수준의 레이블만 제공되는 상황에서 객체의 완전한 국소화가 어려운 문제를 해결하기 위해.
• 전체 객체의 맥락 정보를 유지하면서도 특징적인 영역에 초점을 맞춰 특징 표현을 향상시키기 위해.
• 국소화 과정에서 높은 분류 능력을 가진 패치에 의해 숨겨진 객체 부분이 가림을 막기 위해.
• 공간적 및 채널별 특징을 효과적으로 융합하는 새로운 주의 메커니즘을 통해 국소화 성능을 향상시키기 위해.

제안 방법

• 이중 주의 집중 모듈(DFM)은 공간 주의를 위한 위치 분량과 채널 주의를 위한 채널 분량이라는 두 개의 병렬 분량으로 구성된다.
• 각 분량은 입력 특징 맵으로부터 강화 맵과 마스크 맵을 생성하여 특정 특징을 강조하거나 억제한다.
• 위치 분량에 집중 행렬이 도입되어 객체 픽셀의 공간 연속성을 강제함으로써 국소화 일관성을 향상시킨다.
• 각 분량의 강화 맵과 해당 마스크 맵이 융합되어 손실된 특징을 복구하고 표현을 다양화한다.
• 융합된 특징은 최종 국소화 맵을 개선하는 데 사용되며, 최소한의 계산 오버헤드로 탐지 정확도를 향상시킨다.
• 이 모듈은 표준 약한 지도 학습 객체 탐지 프레임워크에 통합되어 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 특징의 전체 객체 맥락을 잃지 않으면서도 특징적인 부분에 집중하기 위해 주의 메커니즘을 어떻게 설계할 수 있는가?
• RQ2 공간 연속성 제약 조건이 약한 지도 학습 환경에서 객체 국소화의 강건성을 향상시킬 수 있는가?
• RQ3 공간적 및 채널별 주의를 함께 모델링하면 약한 지도 학습 객체 탐지의 특징 표현에 얼마나 기여하는가?
• RQ4 제안된 이중 주의 모듈과 집중 행렬 정규화가 표준 벤치마크에서 기존 주의 메커니즘을 초월하는가?

주요 결과

• DFM는 ILSVRC 2016 데이터셋에서 최신 기술 수준의 평균 교차율(mIoU) 성능을 달성하여 이전 방법들을 능가한다.
• CUB-200-2011 벤치마크에서 DFM은 비교된 모든 약한 지도 학습 방법 중에서 가장 높은 국소화 정확도를 기록한다.
• 절단 실험 결과 이중 주의 메커니즘과 집중 행렬이 성능 향상에 기여한다는 것이 확인된다.
• 다양한 객체 유형과 복잡한 배경에서의 강건성과 일반화 능력이 뛰어나 강력한 일반화 성능을 보여준다.