[논문 리뷰] Explaining Explanations: Axiomatic Feature Interactions for Deep Networks

Joseph D. Janizek, Pascal Sturmfels외 1명|arXiv (Cornell University)|2020. 02. 10.

Explainable Artificial Intelligence (XAI)인용 수 49

한 줄 요약

이 논문은 Integrated Hessians를 소개한다. 이는 Integrated Gradients의 확장으로, 어떠한 아키텍처에도 적용 가능하며, ReLU 네트워크에 대한 공리와 스무딩을 제공하고, 기존 방법들에 비해 상호작용 탐지 성능이 향상됨을 보인다.

ABSTRACT

Recent work has shown great promise in explaining neural network behavior. In particular, feature attribution methods explain which features were most important to a model's prediction on a given input. However, for many tasks, simply knowing which features were important to a model's prediction may not provide enough insight to understand model behavior. The interactions between features within the model may better help us understand not only the model, but also why certain features are more important than others. In this work, we present Integrated Hessians, an extension of Integrated Gradients that explains pairwise feature interactions in neural networks. Integrated Hessians overcomes several theoretical limitations of previous methods to explain interactions, and unlike such previous methods is not limited to a specific architecture or class of neural network. Additionally, we find that our method is faster than existing methods when the number of features is large, and outperforms previous methods on existing quantitative benchmarks. Code available at https://github.com/suinleelab/path_explain

연구 동기 및 목표

• 특성 간 상호작용이 개별 특성 기여도 이상의 신경망 동작 이해를 어떻게 심화시키는지 동기를 부여한다.
• 신경망에서 쌍별 특성 상호작용을 정량화하기 위한 보편적이고 공리적인 접근법을 제안한다.
• 재학습 없이 스무딩을 통해 ReLU 기반 네트워크의 상호작용을 계산하는 체계적인 방법을 제공한다.
• 기존의 상호작용 설명과 비교 평가하고 여러 도메인에서 실용적 이점을 시연한다.

제안 방법

• Γi,j(x)를 특성 i의 중요성을 특성 j 측면에서 설명하는 상호작용 설명으로 정의하고, 기여도 함수에 Integrated Gradients를 적용하여 얻는다.
• 기능 f의 2차 편미분에 대해 기준값에서 x까지의 경로를 따라 이중적분을 사용하여 Γi,j(x)를 도출한다.
• 상호작용 완전성, 자기 완전성, 상호작용 대칭성과 같은 공리를 제시하고 논의한다.
• SoftPlus로 활성화를 스무딩하여 2차 도함수를 가능하게 하며 ReLU 네트워크를 다루고, 이론과 근사에 대한 실용적 지침을 제시한다.
• Integrated Gradients의 기준 선택 문제를 다루기 위해 여러 기준값에 대해 평균한다.
• 스무딩이 재학습 없이 계산 및 해석을 돕는다는 이론적 결과와 실험적 근거를 제공한다.

실험 결과

연구 질문

• RQ1 Integrated Gradients를 확장하여 신경망에서 쌍별 특성 상호작용을 정량화할 수 있는가?
• RQ2 제안된 상호작용 값이 기여도 방법과 유사한 상식적 공리(완전성 및 대칭성 등)를 만족하는가?
• RQ3 Integrated Hessians가 기존 상호작용 방법과 비교하여 실제 상호작용 식별에 얼마나 잘 수행하는가?
• RQ4 재학습 없이 활성화를 스무딩하여 ReLU 기반 네트워크에 적용할 수 있는가, 그리고 실질적 이점은 무엇인가?
• RQ5 NLP와 약물 반응 예측과 같은 실제 도메인 작업에서 상호작용 설명의 실용적 이점은 무엇인가?

주요 결과

• Integrated Hessians는 신경망에서 쌍별 특성 상호작용을 정량화하는 원칙적이고 아키텍처에 구애받지 않는 방법을 제공한다.
• 이 방법은 상호작용 완전성, 자기 완전성, 상호작용 대칭성 등 공리들을 만족한다.
• ReLU를 SoftPlus로 대체하면 재학습 없이 2차 도함수 기반의 상호작용 계산이 가능해지며 근사 특성이 유리하다.
• 경험적 평가에서 Integrated Hessians가 시뮬레이션 데이터와 안전성 점검에서 중요한 상호작용을 식별하는 데 기존 방법보다 우수함을 보인다.
• NLP 및 약물 조합 데이터 응용에서 상호작용이 1차 기여도만으로는 드러나지 않는 패턴을 드러낸다는 것을 보여준다.