[논문 리뷰] Attention-based Dropout Layer for Weakly Supervised Object Localization

Junsuk Choe, Hyunjung Shim|arXiv (Cornell University)|2019. 08. 27.

Advanced Neural Network Applications참고 문헌 59인용 수 22

한 줄 요약

이 논문은 약한 감독 객체 탐지(WSOL)를 위한 주의 기반 드롭아웃 레이어(ADL)를 제안한다. ADL는 훈련 중에 자기주의(self-attention)를 사용하여 객체의 가장 분류에 기여하는 부분을 동적으로 식별하고 억제함으로써 모델이 전체 객체의 범위를 학습하도록 유도한다. ADL는 CUB-200-2011에서 기존 방법 대비 15%p 이상의 정확도 향상을 달성하며, 최신 기준 성능(SOTA)을 확보했으며, 계산 및 파라미터 오버헤드가 매우 낮다.

ABSTRACT

Weakly Supervised Object Localization (WSOL) techniques learn the object location only using image-level labels, without location annotations. A common limitation for these techniques is that they cover only the most discriminative part of the object, not the entire object. To address this problem, we propose an Attention-based Dropout Layer (ADL), which utilizes the self-attention mechanism to process the feature maps of the model. The proposed method is composed of two key components: 1) hiding the most discriminative part from the model for capturing the integral extent of object, and 2) highlighting the informative region for improving the recognition power of the model. Based on extensive experiments, we demonstrate that the proposed method is effective to improve the accuracy of WSOL, achieving a new state-of-the-art localization accuracy in CUB-200-2011 dataset. We also show that the proposed method is much more efficient in terms of both parameter and computation overheads than existing techniques.

연구 동기 및 목표

• 모델이 객체의 가장 분류에 기여하는 부분에만 집중할 뿐 전체 범위를 학습하지 않는 약한 감독 객체 탐지(WSOL)의 한계를 해결하기 위함.
• 다중 순차 전방향 프로세스나 추가 분류기 없이도, 덜 분류에 기여하지만 필수적인 부분을 학습하도록 유도하는 경량이고 효율적인 방법 개발을 목표로 함.
• 훈련 중에 자기주의를 활용해 동적 드롭 마스크 및 중요도 맵을 생성함으로써 정확도를 향상시키기 위함.
• 아키텍처 수정 없이 다양한 컨volutional 네트워크(CNN) 아키텍처에 광범위하게 적용 가능하도록 하기 위함.

제안 방법

• 입력 특징 맵에 대해 채널별 평균 풀링을 적용하여 채널별 활성화 강도를 반영하는 자기주의 맵을 생성함.
• 자기주의 맵에서 임계값을 적용하여 드롭 마스크를 생성함으로써 훈련 중 가장 분류에 기여하는 영역를 식별하고 억제함.
• 자기주의 맵에 시그모이드 활성화를 적용하여 정보가 풍부한 영역를 강조하는 중요도 맵을 생성함.
• 훈련 중에 드롭 마스크 또는 중요도 맵을 확률적으로 선택하여 입력 특징 맵과 공간적 곱셈을 통해 적용함.
• 이 방법은 미분 가능하며 추가 학습 가능한 파라미터가 필요 없어 경량이며 어떤 CNN 백본과도 호환됨.
• ADL는 훈련 전용으로 적용되며, 추론 시에는 표준 분류기와 동일하게 동작하므로 기존 WSOL 파이프라인에 쉽게 통합 가능함.

실험 결과

연구 질문

• RQ1 약한 감독 설정에서 자기주의를 사용하여 객체의 가장 분류에 기여하는 부분을 동적으로 식별하고 억제할 수 있는가?
• RQ2 학습 가능한 주의 기반 마스크를 통해 가장 분류에 기여하는 영역를 억제하면 전체 객체의 범위 탐지 정확도가 향상되는가?
• RQ3 기존 최신 기준 성능(SOTA) 방법 대비 상당히 낮은 계산 및 파라미터 오버헤드로 최신 기준 성능을 달성할 수 있는가?
• RQ4 유사한 모델 아키텍처를 사용함에도 불구하고, ADL이 CUB-200-2011에서는 ImageNet-1k보다 더 잘 작동하는 이유는 무엇인가?

주요 결과

• ADL는 CUB-200-2011 데이터셋에서 새로운 최신 기준 성능을 달성하였으며, 이전 방법 대비 15% 이상의 정확도 향상을 기록함.
• ImageNet-1k에서는 기존 최신 기준 방법 [60]과 유사한 정확도를 달성했지만, 상당히 적은 계산 자원을 요구함.
• ResNet50-SE를 백본으로 사용할 경우, ADL는 ACoL보다 정확도가 높고 SPG와 동등한 성능을 내며, 상당히 낮은 계산 자원을 사용함.
• 단일 전방/역전파 계산 및 추가 학습 가능한 파라미터가 없기 때문에, ADL는 매우 높은 효율성을 유지함.
• InceptionV3와 같은 다양한 백본에서도 효과적이며, ImageNet-1k에서 SPG와 0.11%p 이내의 정확도 차이를 보임.
• ImageNet-1k에서의 실패 사례는 배경과 함께 자주 나타나는 요소들을 부적절하게 학습할 수 있음을 시사하며, 이는 덜 분류에 기여하지만 빈번하게 존재하는 복잡한 배경 환경에서의 한계를 반영함.