[논문 리뷰] Informative Class Activation Maps

Zhenyue Qin, Dongwoo Kim외 1명|arXiv (Cornell University)|2021. 06. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 12인용 수 4

한 줄 요약

이 논문은 정보 이론을 활용하여 진정한 레이블과 다른 레이블 간의 점별 상호정보량(PMI) 차이를 최대화함으로써 분류에 가장 정보적인 이미지 영역을 식별하는 새로운 방법인 정보적 클래스 활성화 맵(InfoCAM)을 제안한다. InfoCAM은 약한 지도 학습 기반 객체 탐지에서 전통적인 CAM보다 뛰어난 성능을 보이며, Tiny-ImageNet에서 최신 기준 성능(SOTA)을 달성하고, 가장 활성화된 영역 외에도 분류에 기여하는 특징에 집중함으로써 더 정확하고 객체 중심의 탐지 맵을 생성한다.

ABSTRACT

We study how to evaluate the quantitative information content of a region within an image for a particular label. To this end, we bridge class activation maps with information theory. We develop an informative class activation map (infoCAM). Given a classification task, infoCAM depict how to accumulate information of partial regions to that of the entire image toward a label. Thus, we can utilise infoCAM to locate the most informative features for a label. When applied to an image classification task, infoCAM performs better than the traditional classification map in the weakly supervised object localisation task. We achieve state-of-the-art results on Tiny-ImageNet.

연구 동기 및 목표

• 주어진 레이블에 대해 이미지 영역의 정보량을 수량화하기 위해 정보 이론을 활용해 클래스 활성화 맵를 공식화하는 것.
• 기존 CAM의 한계인 비분류적 또는 부분적인 특징을 강조하는 문제를 해결하기 위해, 진짜 레이블과의 상호정보량이 최대인 영역을 식별하는 것.
• 더 정밀하고 완전한 객체 바운딩 박스를 생성함으로써 약한 지도 학습 기반 객체 탐지(WSOL)의 성능을 향상시키는 것.
• CNN 분류기를 상호정보량 평가자로 재해석함으로써 모델의 해석 가능성성을 향상시키는 이론적 재해석 제공

제안 방법

• InfoCAM은 진짜 레이블과 모든 다른 레이블 간의 점별 상호정보량(PMI) 차이를 기반으로 영역별 강도 점수를 계산한다.
• InfoCAM 강도의 핵심 식은 $ M_{y}^{ ext{Diff}}(R) = \sum_{(a,b)\in R} w^{y}g(a,b) - \frac{1}{M-1}\sum_{y'\neq y} w^{y'}g(a,b) $ 로, 진짜 클래스를 다른 레이블들보다 강하게 지지하는 영역을 강조한다.
• 이 방법은 CNN의 최종 합성곱 특징 맵을 사용하고, 높은 정보량 영역을 선택하기 위해 임계값을 적용하여 바운딩 박스를 생성한다.
• InfoCAM+는 계산을 단순화하기 위해 진짜 레이블과 가장 불가능한 레이블에만 집중함으로써 성능을 유지하면서도 복잡성을 감소시킨다.
• 바운딩 박스는 infoCAM 맵에서 임계값을 초과하는 가장 큰 연결 영역을 찾아 원본 이미지 해상도로 확대함으로써 생성된다.
• 이 접근법은 CUB-200-2011 및 Tiny-ImageNet과 같은 표준 WSOL 벤치마크를 사용해 평가되었으며, 10자리 수의 MNIST 데이터셋을 활용한 다중 레이블 탐지에 대한 분석도 포함되어 있다.

실험 결과

연구 질문

• RQ1 정보 이론 원칙이 약한 지도 학습 기반 객체 탐지에서 클래스 활성화 맵의 해석 가능성성과 정확도를 향상시킬 수 있는가?
• RQ2 진짜 레이블과 다른 레이블 간의 PMI 차이가 기존 CAM보다 더 분류에 기여하는 이미지 영역을 어떻게 식별하는가?
• RQ3 InfoCAM은 특히 객체의 일부만 강조하는 CAM과 비교해 더 완전하고 정밀한 객체 탐지를 제공하는가?
• RQ4 InfoCAM은 Tiny-ImageNet처럼 작은 이미지 크기를 가진 다양한 데이터셋과 네트워크 아키텍처로도 일반화 가능한가?
• RQ5 다중 레이블 탐지 작업, 즉 한 장의 이미지에 여러 개의 객체가 존재하는 경우 InfoCAM의 성능은 어떠한가?

주요 결과

• InfoCAM은 약한 지도 학습 기반 객체 탐지에서 Tiny-ImageNet 데이터셋에서 최신 기준 성능(SOTA)을 달성하며, 기존 CAM보다 뛰어난 성능을 보였다.
• CUB-200-2011에서 InfoCAM은 다양한 백본 네트워크를 통해 표준 CAM보다 탐지 정확도를 향상시켰으며, 일관된 성능 향상을 입증했다.
• 다중 레이블 10자리 수의 MNIST 실험에서 InfoCAM은 탐지 정확도를 CAM의 91%에서 98%로 높여, 복잡한 탐지 상황에서도 뛰어난 성능을 보였다.
• 시각화 결과는 InfoCAM이 전체 객체(예: 새 몸통)를 강조하는 반면, CAM은 종종 부분적이거나 덜 분류에 기여하는 부분(예: 새 머리)에만 집중하는 것으로 확인되었다.
• InfoCAM+는 계산 비용을 줄임으로써 InfoCAM과 유사한 성능을 달성하여 실세계 적용에 실용적인 대안이 되었다.
• ADL(대안적 휘발성 손실)을 사용할 경우 CUB-200-2011에서는 성능 향상을 보였지만, Tiny-ImageNet에서는 성능 저하가 발생하여, 이미지 크기와 구조에 민감함을 시사했다.