[논문 리뷰] Learning Global Additive Explanations for Neural Nets Using Model Distillation

Sarah Tan, Rich Caruana외 3명|arXiv (Cornell University)|2018. 09. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 22인용 수 83

한 줄 요약

이 논문은 모델 distillation을 사용하여 신경망에 대한 전역 추가 설명을 학습하는 방법을 제안하며, 국소적 예측을 넘어서 일반적인 모델 행동을 포괄하는 특성 형태를 포착할 수 있다. 이 방법은 전체 데이터셋에 걸쳐 입력 특성이 모델 출력에 미치는 영향을 해석 가능하고 정량적인 방식으로 밝혀내며, 모델의 행동에 대한 통찰을 제공한다.

ABSTRACT

Interpretability has largely focused on local explanations, i.e. explaining why a model made a particular prediction for a sample. These explanations are appealing due to their simplicity and local fidelity. However, they do not provide information about the general behavior of the model. We propose to leverage model distillation to learn global additive explanations that describe the relationship between input features and model predictions. These global explanations take the form of feature shapes, which are more expressive than feature attributions. Through careful experimentation, we show qualitatively and quantitatively that global additive explanations are able to describe model behavior and yield insights about models such as neural nets. A visualization of our approach applied to a neural net as it is trained is available at this https URL.

연구 동기 및 목표

• 국소적 설명이 신경망의 일반적 행동을 포괄하지 못하는 한계를 해결하기 위해.
• 전체 입력 공간에 걸쳐 특성 기여도를 기술하는 전역적, 추가적인 설명을 학습하는 방법을 개발하기 위해.
• 복잡한 모델에서 단순하고 해석 가능한 대체 모델으로 지식을 전달하기 위해 모델 distillation을 사용하기 위해.
• 특성 기여도보다 더 표현력이 뛰어난 '특성 형태'를 생성하여 입력과 예측 간의 일관된 관계를 드러내기 위해.
• 전역 해석을 통해 신경망 행동에 대한 정성적이고 정량적인 통찰을 제공하기 위해.

제안 방법

• 학습된 신경망의 예측을 모방하는 대체 모델을 훈련하기 위해 모델 distillation을 활용하기 위해.
• 특성별 기여도를 최적화하여 대체 모델이 추가 설명을 출력하도록 훈련하기 위해.
• 편열된 대체 모델을 사용하여 각 입력 특성의 전역적 영향을 나타내는 특성 형태를 학습하기 위해.
• 다양한 입력에서 원본 모델의 출력과 대체 모델의 예측 간 일치를 확보하여 정밀도를 보장하기 위해.
• 결과로 도출된 특성 형태를 시각화하여 특성이 함께 예측에 어떻게 영향을 주는지 이해하기 위해.
• 훈련 중에 이 방법을 적용하여 특성 중요도의 변화 과정을 관찰하기 위해.

실험 결과

연구 질문

• RQ1 모델 distillation이 신경망의 진짜 행동을 반영하는 전역 추가 설명을 효과적으로 생성할 수 있는가?
• RQ2 학습된 특성 형태는 국소적 기여도에 비해 모델 행동을 얼마나 잘 포괄하는가?
• RQ3 전역 설명이 모델 결정 과정에서 일관되고 해석 가능한 패턴을 어느 정도 드러낼 수 있는가?
• RQ4 이 방법은 다양한 데이터셋과 모델 아키텍처에서 어떻게 성능을 발휘하는가?
• RQ5 훈련 중 특성 형태의 변화는 학습 동역학에 대한 통찰을 제공할 수 있는가?

주요 결과

• 모델 distillation을 통해 유도된 전역 추가 설명은 다양한 입력에서 신경망의 일반적 행동을 성공적으로 포착한다.
• 특성 형태는 국소적 기여도보다 더 표현력 있고 일관성 있는 해석을 제공하며, 특성과 예측 간의 안정된 관계를 드러낸다.
• 이 방법은 훈련 중 특성 중요도의 변화를 시각화할 수 있게 하여 학습 동역학에 대한 통찰을 제공한다.
• 정량적 평가에서 대체 모델의 설명과 원본 모델의 행동 간 강한 일치가 확인되었다.
• 이 방법은 정성적으로 의미 있고 정량적으로 신뢰할 수 있는 전역적 통찰을 제공한다.
• 이 방법은 데이터셋과 아키텍처를 초월해 일반화되며, 강건성과 확장성을 입증한다.