[논문 리뷰] Investigating Saturation Effects in Integrated Gradients

Vivek Miglani, Narine Kokhlikyan외 3명|arXiv (Cornell University)|2020. 10. 23.

Explainable Artificial Intelligence (XAI)참고 문헌 18인용 수 4

한 줄 요약

이 논문은 통합 기울기(IG) 경로의 포화 영역에서의 기울기가 모델 출력 변화가 미미함에도 불구하고 할당에 지나치게 기여하는 것으로 규명한다. 본 연구는 출력 변화가 상당히 큰 포화되지 않은 영역으로 통합을 제한하는 '분할 통합 기울기(Split Integrated Gradients)'를 제안하며, 이는 기존 IG 대비 ImageNet 모델에서 더 높은 모델 충실도와 낮은 노이즈 민감도를 보인다.

ABSTRACT

Integrated Gradients has become a popular method for post-hoc model interpretability. De-spite its popularity, the composition and relative impact of different regions of the integral path are not well understood. We explore these effects and find that gradients in saturated regions of this path, where model output changes minimally, contribute disproportionately to the computed attribution. We propose a variant of IntegratedGradients which primarily captures gradients in unsaturated regions and evaluate this method on ImageNet classification networks. We find that this attribution technique shows higher model faithfulness and lower sensitivity to noise com-pared with standard Integrated Gradients. A note-book illustrating our computations and results is available at https://github.com/vivekmig/captum-1/tree/ExpandedIG.

연구 동기 및 목표

• IG 적분 경로의 포화 영역과 포화되지 않은 영역에서의 기울기 기여도를 조사하는 것.
• 기존 통합 기울기에서 포화 영역 기울기가 할당 품질을 왜곡하는지 평가하는 것.
• 포화되지 않은 영역에 집중함으로써 충실도와 강건성을 향상시킬 수 있는 IG의 변형을 개발하는 것.
• 사용자가 포화 상태를 평가하고 IG 결과를 해석하는 데 실용적인 지침을 제공하는 것.

제안 방법

• 이 방법은 모델 출력이 포화되지 않은 영역로만 통합 경로를 제한하는 '분할 통합 기울기'를 도입한다.
• 기본값에서 입력으로의 출력 범위 변화의 백분율 ψ(예: 90%)를 사용해 임계값 α*를 정의한다.
• α ∈ [0, α*] 범위에서만 통합을 수행하며, F의 변화가 미미한 포화 영역은 제외한다.
• 대부분의 출력 변화가 α* 이전에 발생하므로 완전성 성질은 약간의 근사로 유지된다.
• 모델 출력과 기울기 크기의 변화를 α에 따라 시각화하여 포화 상태를 탐지하고 경로 선택을 안내한다.
• ImageNet 모델에서 기존 IG와 분할 IG의 할당 결과를 정성적·정량적으로 비교한다.

실험 결과

연구 질문

• RQ1 IG 경로의 포화 영역에서의 기울기가 최종 할당에 얼마나 기여하는가?
• RQ2 포화 영역 기울기를 제외할 경우 할당 결과의 충실도와 강건성에 어떤 영향을 미치는가?
• RQ3 포화 영역을 제외한 수정된 IG 경로가 더 신뢰할 수 있고 해석 가능한 할당을 제공할 수 있는가?
• RQ4 기본값의 선택과 모델 아키텍처가 IG에서의 포화 효과에 어떤 영향을 미치는가?

주요 결과

• IG 경로의 포화 영역에서의 기울기는 모델 출력 변화가 미미함에도 불구하고 최종 할당에 지나치게 기여한다.
• 포화되지 않은 영역으로 통합을 제한하는 분할 통합 기울기(Split IG)는 기존 IG보다 더 높은 모델 충실도를 보인다.
• 분할 IG의 할당 결과는 기존 IG에 비해 소규모 입력 변형에 훨씬 낮은 민감도를 보인다.
• 대부분의 출력 변화가 포화 이전에 발생하므로, 이 방법은 약간의 근사로 완전성 성질을 유지한다.
• α에 따른 출력 및 기울기 경로의 시각화는 포화 상태를 탐지하고 더 나은 할당 해석을 안내하는 데 도움이 된다.
• 연구는 사용자가 출력 경로를 검토하고 포화 영역 및 포화되지 않은 영역의 할당 결과를 비교하여 할당 품질을 평가하도록 권장한다.