[논문 리뷰] Interpreting Interpretations: Organizing Attribution Methods by Criteria

Zifan Wang, PiotrPiotr Mardziel외 2명|arXiv (Cornell University)|2020. 02. 19.

Explainable Artificial Intelligence (XAI)참고 문헌 29인용 수 5

한 줄 요약

이 논문은 필요성과 충분성을 정량적 기준으로 체계화하여 딥러닝 기반 기여도 해석을 위한 프레임워크를 제안한다. 이를 통해 기여도 방법 간의 체계적 비교가 가능해지며, 어떤 방법도 필요성과 충분성 모두에서 뛰어나지 못함을 보여주며, 임의의 기여도 방법을 선택할 때 해석 목표(예: 허위 상관관계 또는 거짓 양성 탐지)에 따라 원칙적으로 방법을 선별할 수 있도록 한다.

ABSTRACT

Motivated by distinct, though related, criteria, a growing number of attribution methods have been developed tointerprete deep learning. While each relies on the interpretability of the concept of "importance" and our ability to visualize patterns, explanations produced by the methods often differ. As a result, input attribution for vision models fail to provide any level of human understanding of model behaviour. In this work we expand the foundationsof human-understandable concepts with which attributionscan be interpreted beyond "importance" and its visualization; we incorporate the logical concepts of necessity andsufficiency, and the concept of proportionality. We definemetrics to represent these concepts as quantitative aspectsof an attribution. This allows us to compare attributionsproduced by different methods and interpret them in novelways: to what extent does this attribution (or this method)represent the necessity or sufficiency of the highlighted inputs, and to what extent is it proportional? We evaluate our measures on a collection of methods explaining convolutional neural networks (CNN) for image classification. We conclude that some attribution methods are more appropriate for interpretation in terms of necessity while others are in terms of sufficiency, while no method is always the most appropriate in terms of both.

연구 동기 및 목표

• 딥러닝에서 기여도 방법을 비교하기 위한 원칙적인 기준이 부족한 문제를 해결하기 위해.
• 필로소피적 개념인 필요성과 충분성을 기여도 평가를 위한 정량적 지표로 체계화하기 위해.
• 연구자가 필요성과 충분성 기반의 입력 특징 식별을 우선시할지 여부에 따라 기여도 방법을 선택할 수 있도록 하기 위해.
• 기존 방법들이 필요성과 충분성 표현 능력에서 상당한 차이를 보이며, 어떤 방법도 둘 다에서 항상 최적은 아님을 보여주기 위해.
• 시각적 샐런시를 넘어서 기여도를 해석할 수 있는 프레임워크를 제공하여 인간이 모델 행동을 더 잘 이해할 수 있도록 하기 위해.

제안 방법

• 기여도 평가의 핵심 논리 기준으로 필요성과 충분성을 제안하며, 이를 입력 손실에 따른 모델 행동에 기반한다.
• 필요성(특징을 제거했을 때 출력 변화에 기여하는 정도)과 충분성(상위 특징만 유지했을 때 출력 변화 정도)을 정량적으로 정의한다.
• 비례성(proportionality)을 순서의 개선으로 도입하여, 기여도 점수가 출력 변화와 선형적으로 비례하도록 요구한다.
• VGG16에 대해 이미지 분류 작업에서 여러 입력 이미지를 사용해 10종류의 기여도 방법을 평가한다.
• 각 기준별 승자(필요성, 충분성, 비례성)를 활용해 모델 결정을 해석하며, 예를 들어 어떤 특징이 분류에 필수적이거나 충분한지를 파악한다.
• Integrated Gradients와 LRP와 같은 방법이 특정 기준에서 뛰어난 성능을 보이며, 그러나 모든 기준에서 우월한 방법은 없음을 보여준다.

실험 결과

연구 질문

• RQ1 어떤 기여도 방법이 모델 예측에 있어 입력 특징의 필요성을 가장 잘 표현하는가?
• RQ2 어떤 기여도 방법이 모델 출력을 생성하는 데 있어 입력 특징의 충분성을 가장 잘 표현하는가?
• RQ3 비례성은 다양한 기여도 방법 간 비교에 신뢰할 수 있는 지표로 사용될 수 있는가?
• RQ4 필요성, 충분성, 비례성 전반에서 일관되게 뛰어난 성능을 보이는 방법이 존재하는가?
• RQ5 필요성과 충분성을 활용해 시각적 샐런시를 넘어서 모델 행동을 어떻게 해석할 수 있는가(예: 허위 상관관계 탐지 등)?

주요 결과

• 어느 기여도 방법도 필요성과 충분성 모두에서 최적 성능을 동시에 달성하지 못함을 보여주며, 이는 두 기준 사이에 본질적인 트레이드오프가 있음을 시사한다.
• Integrated Gradients와 SmoothGrad는 필요성에서 뛰어난 성능을 보이며, 이는 이들이 모델 신뢰도를 크게 낮추는 특징를 효과적으로 식별할 수 있음을 의미한다.
• LRP는 충분성에서 뛰어난 성능을 보이며, 특히 α2β1 버전에서 두드러진다. 이는 상위 기여도 점수만으로도 모델 출력을 재현할 수 있음을 의미한다.
• 비례성 지표는 민감도-n과 완전성 지표가 기여도와 출력 변화 간의 전반적인 관계를 포괄하지 못함을 드러낸다.
• 승자 방법은 기준에 따라 달라진다. 예를 들어, 한 사례에서는 개의 몸통이 필수적이라 판단되었고, 머리는 충분한 것으로 평가되었다. 이는 서로 다른 방법이 상호보완적인 통찰을 제공함을 보여준다.
• 이 프레임워크를 통해 더 세밀한 모델 결정 해석이 가능해지며, 예를 들어 누락된 필수 특징으로 인한 거짓 음성과, 충분하지만 허위인 특징으로 인한 거짓 양성을 구분할 수 있다.