[논문 리뷰] SmoothGrad: removing noise by adding noise

Daniel Smilkov, Nikhil Thorat외 3명|arXiv (Cornell University)|2017. 06. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 3인용 수 754

한 줄 요약

SmoothGrad는 입력의 노이즈 복사본에 대해 그래디언트를 평균화하여 이미지 분류기를 위한 더 예리하고 일관된 민감도 맵을 생성합니다. 노이즈를 사용한 훈련은 추론 시 노이즈와 결합될 때 노이즈 제거를 더 강화합니다.

ABSTRACT

Explaining the output of a deep network remains a challenge. In the case of an image classifier, one type of explanation is to identify pixels that strongly influence the final decision. A starting point for this strategy is the gradient of the class score function with respect to the input image. This gradient can be interpreted as a sensitivity map, and there are several techniques that elaborate on this basic idea. This paper makes two contributions: it introduces SmoothGrad, a simple method that can help visually sharpen gradient-based sensitivity maps, and it discusses lessons in the visualization of these maps. We publish the code for our experiments and a website with our results.

연구 동기 및 목표

• 심층 신경망을 해석하고 분류 결정에 영향을 주는 픽셀을 식별하려는 동기.
• 그래디언트 기반 민감도 맵의 시각적 노이즈를 해소하고 해석 가능성을 높이는 것.
• 그래디언트를 매끄럽게 처리하는 이점과 학습 시 노이즈와의 결합을 탐구.
• SmoothGrad가 더 시각적으로 일관되고 구분적인 맵을 생성한다는 증거를 제시.

제안 방법

• 민감도 맵을 입력 픽셀에 대한 클래스 점수의 그래디언트로 정의한다.
• 가우시안 노이즈로 섞인 입력에 대해 그래디언트를 평균화하여 SmoothGrad를 도입: M̂c(x) = (1/n) sumk Mc(x + N(0, σ^2)).
• 맵의 선명도와 일관성에 대한 노이즈 수준 σ와 샘플 크기 n의 효과를 분석한다.
• SmoothGrad를 일반 그래디언트 및 다른 그래디언트 기반 방법들(Integrated Gradients, Guided BackProp)과 비교한다.
• 학습 중 노이즈를 적용하는 것과 추론 시 노이즈를 적용하는 것의 효과를 검토한다.
• 맵 해석 가능성을 높이기 위한 시각화 및 결합 전략을 제시한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 입력들에 대한 그래디언트를 평균화하면 주목도 맵의 시각적 노이즈가 줄어들까?
• RQ2 노이즈 수준 σ와 샘플 크기 n이 민감도 맵의 품질에 어떤 영향을 미치는가?
• RQ3 시각적 일관성과 구분성 면에서 SmoothGrad가 일반 그래디언트나 다른 그래디언트 기반 방법보다 우수한가?
• RQ4 SmoothGrad를 다른 속성 방법과 효과적으로 결합할 수 있는가?
• RQ5 노이즈를 사용한 학습이 민감도 맵을 더 선명하게 만들며, 추론 시 노이즈와 결합할 때도 추가 이점이 있는가?

주요 결과

• SmoothGrad는 일반 그래디언트 및 일부 벤치마크보다 시각적으로 더 일관된 민감도 맵을 제공한다.
• 10–20%의 노이즈 수준이 ImageNet 이미지에서 선명도와 구조의 균형을 이룬다; 입력에 따라 결과가 달라진다.
• 샘플 크기 n을 늘리면 그래디언트가 매끄러워지며, 약 n = 50 정도에서 체감이 나타난다.
• SmoothGrad를 Integrated Gradients나 Guided BackProp와 결합하면 시각적 일관성이 향상된다.
• 학습 중 노이즈를 추가하면 민감도 맵이 더 선명해지며, 추론 시 노이즈와 함께 사용할 때 추가 이점이 있다.