[논문 리뷰] Combinational Class Activation Maps for Weakly Supervised Object Localization

Seunghan Yang, Yoonhyung Kim외 2명|arXiv (Cornell University)|2019. 10. 12.

Advanced Neural Network Applications참고 문헌 30인용 수 6

한 줄 요약

이 논문은 예측 신뢰도에 따라 순서를 매긴 모든 클래스의 활성화 맵을 조합하여 배경 영역을 억제하고 정밀도를 향상시키는 새로운 약한 지도 학습 객체 탐지 방법인 비국소 조합 활성화 맵(NL-CCAM)을 제안한다. 저수준 및 고수준 네트워크 레이어에 비국소 모듈을 통합하고 활성화 맵의 선형 조합을 사용함으로써, ILSVRC 2016 및 CUB-200-2011에서 최신 기준 성능을 달성하며, CUB-200-2011에서 Top-1 오차를 47.60%로 감소시킨다.

ABSTRACT

Weakly supervised object localization has recently attracted attention since it aims to identify both class labels and locations of objects by using image-level labels. Most previous methods utilize the activation map corresponding to the highest activation source. Exploiting only one activation map of the highest probability class is often biased into limited regions or sometimes even highlights background regions. To resolve these limitations, we propose to use activation maps, named combinational class activation maps (CCAM), which are linear combinations of activation maps from the highest to the lowest probability class. By using CCAM for localization, we suppress background regions to help highlighting foreground objects more accurately. In addition, we design the network architecture to consider spatial relationships for localizing relevant object regions. Specifically, we integrate non-local modules into an existing base network at both low- and high-level layers. Our final model, named non-local combinational class activation maps (NL-CCAM), obtains superior performance compared to previous methods on representative object localization benchmarks including ILSVRC 2016 and CUB-200-2011. Furthermore, we show that the proposed method has a great capability of generalization by visualizing other datasets.

연구 동기 및 목표

• 기존의 약한 지도 학습 객체 탐지 방법이 가장 높은 활성화를 보이는 클래스 맵에만 의존하여, 종종 특징 부분이나 배경 영역을 강조하는 데에 한계가 있음을 해결하기 위해.
• 예측 신뢰도 순으로 정렬된 모든 클래스의 활성화 맵을 선형 조합하여 배경 영역을 억제하고 정확도를 향상시키기 위해.
• 장거리 공간적 상관관계를 모델링하기 위해 저수준 및 고수준 레이어에 비국소 모듈을 통합하여 특징 표현을 향상시키기 위해.
• 경계 상자 레이블이 필요 없이 표준 벤치마크에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 모든 클래스의 활성화 맵을 최고 확률에서 최저 확률 클래스까지 선형 조합하는 조합 활성화 맵(CCAM)을 제안하여 배경 영역을 억제하고 전체 객체 영역을 강조하기 위해.
• 클래스 신뢰도에 기반해 활성화 맵을 가중치 적용하는 조합 함수를 사용하며, 경험적 분석을 통해 상위 1위 및 하위 1위 맵이 뛰어난 성능을 내는 것으로 확인됨.
• 장거리 공간적 및 채널 관계를 포착하기 위해 저수준(초기 특징 맵) 및 고수준(깊은 특징)에 비국소 블록을 통합함.
• 모서리/텍스처 세부 정보(저수준)와 의미적 맥락(고수준)을 모두 활용하는 다중 해상도 특징 융합 전략을 채택하여 강력한 탐지 성능을 확보함.
• 객체 부분을 강조하면서 배경 활성화를 최소화하는 최종 탐지 맵을 생성하기 위해 가역적 조합 함수를 적용함.
• 경계 상자 레이블 없이 이미지 수준의 레이블만을 사용하여 모델을 종합적으로 학습함.

실험 결과

연구 질문

• RQ1 모든 클래스의 활성화 맵을 조합함으로써, 단지 상위 클래스만을 사용하는 것과 비교해 배경 억제 및 정확도 향상이 가능할까?
• RQ2 저수준 및 고수준 레이어에 비국소 모듈을 통합하면 특징 표현 및 탐지 성능에 어떤 영향을 미칠까?
• RQ3 다양한 신뢰도 수준의 활성화 맵을 융합하기 위한 최적의 조합 함수는 무엇일까? 이를 통해 정확도를 극대화할 수 있을까?
• RQ4 제안된 방법은 객체 복잡도와 클래스 간 유사성이 다양한 다양한 데이터셋에 일반화 가능한가?

주요 결과

• NL-CCAM은 CUB-200-2011 데이터셋에서 Top-1 오차 47.60%를 기록하여 이전 최고 성능 기준을 초월함.
• ILSVRC 2016에서 상위 1위 및 하위 1위 활성화 맵만을 사용해도 Top-1 오차 49.83%를 기록하며, 이는 이전 최고 성능보다 0.63% 향상됨.
• 제거 분석 결과, 저수준 및 고수준 레이어 양쪽에 비국소 모듈을 사용할 경우, 단일 레이어에만 적용했을 때보다 Top-1 오차가 약 5% 감소함.
• CCAM만을 사용해도 베이스라인 대비 성능이 7.91% 향상되어 배경 억제에서의 효과를 입증함.
• CUB-200-2011에서는 새 종 간 유사성이 높아 다항식 조합 함수(예: 이차, 삼차)가 더 우수한 성능을 내지만, ILSVRC 2016에서는 단순한 함수가 더 효과적임.
• 시각화 결과는 높은 신뢰도 맵이 객체 부분을 강조하는 반면, 낮은 신뢰도 맵은 배경을 강조하는 경향이 있음을 보여주며, 이들의 조합이 배경 억제 및 전체 객체 영역 포착에 효과적임.