[논문 리뷰] Why are Saliency Maps Noisy? Cause of and Solution to Noisy Saliency Maps

Beomsu Kim, Junghoon Seo외 4명|arXiv (Cornell University)|2019. 02. 13.

Explainable Artificial Intelligence (XAI)참고 문헌 24인용 수 9

한 줄 요약

이 논문은 비관련 특징이 ReLU 활성화를 통과할 때 잡음이 발생하는 사전적 기울기 기반의 시각적 노이즈를 규명한다. 이는 비관련 특징이 ReLU 활성화를 통과하면서 비의미적인 기울기가 발생하기 때문이다. 이에 따라 논문은 역전파 중 계층별 임계값 처리 기법인 Rectified Gradient (RectGrad)를 제안한다. 이 방법은 이러한 비관련 특징을 억제함으로써 시각적 일관성과 정량적 평가 지표에서 기존의 특징 기반 추정 방법보다 훨씬 뛰어난 성능을 보이며, CIFAR-10과 ImageNet에서 뛰어난 성능을 발휘한다.

ABSTRACT

Saliency Map, the gradient of the score function with respect to the input, is the most basic technique for interpreting deep neural network decisions. However, saliency maps are often visually noisy. Although several hypotheses were proposed to account for this phenomenon, there are few works that provide rigorous analyses of noisy saliency maps. In this paper, we firstly propose a new hypothesis that noise may occur in saliency maps when irrelevant features pass through ReLU activation functions. Then, we propose Rectified Gradient, a method that alleviates this problem through layer-wise thresholding during backpropagation. Experiments with neural networks trained on CIFAR-10 and ImageNet showed effectiveness of our method and its superiority to other attribution methods.

연구 동기 및 목표

• 시각적 노이즈의 근본 원인을 규명하고, 기존의 기울기 불연속성 및 포화 현상에 기반한 가설에 도전한다.
• 기존의 특징 기반 추정 방법들이 노이즈의 원인에 대해 검증되지 않은 가정에 기반해 분석이 부족한 문제를 해결한다.
• 새로운 경험적 근거에 기반한 가설을 제안한다: 노이즈는 비관련 특징이 양의 전활성화 값을 가지며 ReLU 유닛을 통과할 때 발생한다.
• 역전파 중 계층별 임계값 처리를 통해 노이즈를 감소시키는 Rectified Gradient (RectGrad)를 개발한다.
• 정성적 및 정량적 실험을 통해 RectGrad가 기존 방법보다 더 선명하고 정확한 특징 기반 추정 지도를 생성함을 입증한다.

제안 방법

• 새로운 가설 제안: 시각적 노이즈는 비관련 특징이 양의 전활성화 값을 가지며 ReLU를 통과할 때 발생하며, 이로 인해 중요하지 않은 영역에서도 비영향을 주는 기울기가 발생한다.
• Rectified Gradient (RectGrad) 도입: 역전파 중 계층별 임계값 처리를 적용하여 비관련 ReLU 유닛에서 기인하는 기울기를 억제한다.
• RectGrad는 Deconvolution과 Guided Backpropagation를 특수 케이스로 일반화하며, 기울기 기반 추정의 통합적 프레임워크를 제공한다.
• 전방전파 중 활성화 크기를 기반으로 관련성이 낮은 유닛의 기울기를 선택적으로 차단하는 임계값 처리 메커니즘을 사용한다.
• 역전파 중에 이 방법을 적용하여 최종 시각적 지도에 의미 있는 특징만 기여하도록 보장한다.
• ResNet 및 DenseNet 아키텍처를 사용하여 CIFAR-10과 ImageNet에서 훈련된 모델을 대상으로 정성적 시각화와 정량적 지표를 모두 활용해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 시각적 지도의 노이즈의 진정한 근본 원인은 무엇이며, 이는 기울기 불연속성 또는 포화 현상으로 잘못 기인되는가?
• RQ2 역전파 중 비관련 특징을 걸러내는 방법을 개발하여 노이즈를 감소시킬 수 있는가?
• RQ3 Rectified Gradient는 시각적 명료성과 특징 중요도 탐지 측면에서 기존 방법보다 뛰어나게 성능을 발휘하는가?
• RQ4 RectGrad는 차폐 및 특징 제거에 대한 강건성 측면에서 기준 방법과 비교해 어떻게 성능을 발휘하는가?
• RQ5 RectGrad는 Deconvolution 및 Guided Backpropagation와 같은 기존 방법들과 형식적으로 어떻게 관련이 있는가?

주요 결과

• RectGrad는 Saliency Map, Guided Backpropagation, SmoothGrad와 비교해 훨씬 더 선명하고 일관성 있는 특징 기반 지도를 생성했으며, 노이즈가 크게 감소했다.
• 패치 차폐 테스트에서 RectGrad는 무작위 10×10 패치에 대해 기여도를 0.0001으로 할당하여 모든 기준 방법(DeepLIFT 포함)을 능가했다.
• 배경 기여도 분석에서 RectGrad는 마스킹된 영역의 기여도 절대값 합을 기준선 대비 30–40% 감소시켜 노이즈 억제 능력이 뛰어났다.
• ROAR AUC(0.5385)와 KAR AOC(0.3382) 모두 최저 수준을 기록하여 기존 기준선을 모두 능가했으며, 특징 중요도 식별 능력이 뛰어났다.
• RectGrad는 Deconvolution과 Guided Backpropagation를 일반화하여 기울기 기반 추정의 통합 이론적 프레임워크를 제공했다.
• ImageNet 및 CIFAR-10에서의 정량적 결과는 RectGrad가 항상 시각적 품질과 강건성 지표에서 모든 비교 방법보다 뛰어난 성능을 발휘했음을 확인했다.