[논문 리뷰] Explanations can be manipulated and geometry is to blame

Ann-Kathrin Dombrowski, Maximilian Alber외 4명|arXiv (Cornell University)|2019. 06. 19.

Explainable Artificial Intelligence (XAI)참고 문헌 27인용 수 145

한 줄 요약

본 논문은 일반적인 특성화 방법으로 생성된 설명이 조작될 수 있으며, 이 취약성을 모델과 입력의 기하학적 특성 탓으로 설명한다.

ABSTRACT

Explanation methods aim to make neural networks more trustworthy and interpretable. In this paper, we demonstrate a property of explanation methods which is disconcerting for both of these purposes. Namely, we show that explanations can be manipulated arbitrarily by applying visually hardly perceptible perturbations to the input that keep the network's output approximately constant. We establish theoretically that this phenomenon can be related to certain geometrical properties of neural networks. This allows us to derive an upper bound on the susceptibility of explanations to manipulations. Based on this result, we propose effective mechanisms to enhance the robustness of explanations.

연구 동기 및 목표

• 설명 방법의 조작 가능성에 대한 동기를 부여하고 민감성을 분석한다.
• 모델과 입력 공간의 기하학적 특성이 설명의 취약성에 어떻게 기여하는지 분석한다.
• 여러 표준 설명 방법을 조사하고 조작 맥락에서의 한계를 논의한다.

제안 방법

• Gradient, Gradient × Input, Integrated Gradients 등 그래디언트 기반 특성화 방법을 설명한다.
• Guided Backpropagation 및 Layer-wise Relevance Propagation를 포함한 역전파 기반 설명을 논의한다.
• 입력 공간의 기하학과 모델 결정 경계가 설명 동작에 어떻게 영향을 미치는지 강조한다.

실험 결과

연구 질문

• RQ1 일반적인 설명 방법이 적대적 입력에 의해 조작되거나 속일 수 있는가?
• RQ2 모델과 입력 공간의 기하학이 설명의 신뢰성에 어떤 역할을 하는가?
• RQ3 대중적인 특성화 기법에 조작을 가능하게 하는 고유한 취약점이 있는가?
• RQ4 다양한 특성화 방법들이 조작에 대한 민감도 면에서 어떻게 비교되는가?

주요 결과

• 특성화 방법으로 생성된 설명은 조작에 취약할 수 있다.
• 기하학은 방법에 관계없이 설명의 취약성에 중심적인 역할을 한다.
• 여러 표준 특성화 기법(예: Gradient, Gradient × Input, Integrated Gradients, GBP, LRP)이 약점 맥락에서 논의된다.
• 논문은 픽셀에 대한 섭동이 결과적 설명에 어떤 영향을 미칠 수 있는지 분석한다.
• 연구는 역전파와 관련성 전파의 수학적 특성을 설명 가능성의 취약성과 연결한다.