[논문 리뷰] SS-CAM: Smoothed Score-CAM for Sharper Visual Feature Localization

Haofan Wang, Rakshit Naidu외 2명|arXiv (Cornell University)|2020. 06. 25.

Explainable Artificial Intelligence (XAI)참고 문헌 28인용 수 52

한 줄 요약

SS-CAM은 활성화 맵을 스무딩하여 더 선명하고 중앙집중된 객체 특징 로컬라이제이션을 생성함으로써 Score-CAM을 향상시키고, ImageNet에서의 신뢰도와 로컬라이제이션을 개선합니다.

ABSTRACT

Interpretation of the underlying mechanisms of Deep Convolutional Neural Networks has become an important aspect of research in the field of deep learning due to their applications in high-risk environments. To explain these black-box architectures there have been many methods applied so the internal decisions can be analyzed and understood. In this paper, built on the top of Score-CAM, we introduce an enhanced visual explanation in terms of visual sharpness called SS-CAM, which produces centralized localization of object features within an image through a smooth operation. We evaluate our method on the ILSVRC 2012 Validation dataset, which outperforms Score-CAM on both faithfulness and localization tasks.

연구 동기 및 목표

• 고위험 상황에서 CNN 결정에 대한 해석 가능한 설명의 필요성을 제시한다.
• 스코어-캠에 기반한 더 선명하고 중앙집중된 로컬라이제이션 방법을 스무딩 적용으로 개발한다.
• 신뢰도, 로컬라이제이션, 인간 신뢰를 평가하기 위해 ILSVRC 2012에서 이 방법을 평가한다.
• 다양한 지표에서 SS-CAM을 Grad-CAM, Grad-CAM++, Smooth Grad-CAM++, 및 Score-CAM과 비교한다.

제안 방법

• 잡음이 있는 샘플에 대한 스무딩을 포함시켜 안정적인 활성화 가중치를 얻기 위해 Score-CAM을 확장한다.
• 특징 공간에서의 스무딩(type1)과 입력 공간에서의 스무딩(type2)의 두 가지 전략을 도입한다.
• 활성화 맵의 중요도를 정량화하기 위한 채널별 신뢰도 증가(CIC)를 정의한다.
• 스무딩된 CIC 유도 가중치를 갖는 활성화 맵의 ReLU 가중합으로 최종 기여도를 계산한다.
• 활성화 맵을 정규화하고 업샘플링한 다음 N개의 잡음 샘플에서 점수를 평균 내어 alpha_k를 얻는다.
• alpha_k를 얻기 위한 두 식: (type1) alpha_k = (1/N) sum C(M) over noisy samples, with M = sum_N (X0 * (A_l^k + N(0,σ))); (type2) alpha_k = (1/N) sum C(M) where M = sum_N ((X0 * A_l^k) + N(0,σ)).
• 정규화: s(A_l^k) = (A_l^k - min(A_l^k)) / (max(A_l^k) - min(A_l^k)).

실험 결과

연구 질문

• RQ1 SS-CAM이 Score-CAM 및 다른 CAM 기반 방법들보다 더 선명하고 더 지역화된 기여 맵을 생성합니까?
• RQ2 스무닝 전략이 과도한 계산 비용 없이 신뢰성, 로컬라이제이션 및 인간 해석 가능성을 향상시키나요?
• RQ3 삭제/삽입 곡선과 에너지 기반 포인팅 게임과 같은 표준 지표에서 SS-CAM 변형은 어떻게 성능을 보이나요?

주요 결과

• SS-CAM 변형은 Score-CAM과 비교하여 더 향상된 로컬라이제이션과 더 선명한 기여 맵을 달성하며, 이는 질적 시각화로 입증됩니다.
• VGG-16으로 2000개의 ILSVRC-2012 이미지에서의 신뢰도 테스트에서 SS-CAM 변형은 Grad-CAM/Grad-CAM++과 비교해 경쟁력 있는 Average Drop과 더 높거나 유사한 Average Increase in Confidence를 보입니다.
• 에너지 기반 포인팅 게임 결과는 SS-CAM이 VGG-16 및 ResNet-18에서 더 좋거나 비교 가능한 로컬라이제이션을 제공함을 나타내며, Score-CAM 대비 일부 개선이 있습니다.
• 인간 신뢰 평가에서 SS-CAM(2)가 다른 방법들보다 우수해 설명의 해석 가능성이 더 높음을 시사합니다.
• SS-CAM의 삽입 곡선은 픽셀이 삽입될 때 유의미한 점수 증가를 보여 강한 설명 유용성을 시사합니다.
• SS-CAM(2)은 일반적으로 충실도와 선명한 로컬라이제이션 사이에서 우호적인 균형을 달성하지만, SS-CAM(1)은 특정 지표에서 때때로 Score-CAM을 능가합니다.