[논문 리뷰] Interpreting Multivariate Interactions in DNNs

Hao Zhang, Yichen Xie외 3명|arXiv (Cornell University)|2020. 10. 10.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 다층 신경망(DNN)의 해석을 위해 입력 변수 간 다변량 상호작용을 측정하는 데에 셰플리 값(Shapley values)을 사용하는 방법을 제안한다. 강하게 상호작용하는 특징의 협동군(coalitions)이 원형 표현형(prototype representations)을 형성함으로써, 이 방법은 DNN이 추론을 위해 입력 패턴을 어떻게 종합적으로 사용하는지 드러낸다. 실험을 통해 모델 행동을 설명하는 데의 효과성이 확인되었다.

ABSTRACT

This paper aims to explain deep neural networks (DNNs) from the perspective of multivariate interactions. In this paper, we define and quantify the significance of interactions among multiple input variables of the DNN. Input variables with strong interactions usually form a coalition and reflect prototype features, which are memorized and used by the DNN for inference. We define the significance of interactions based on the Shapley value, which is designed to assign the attribution value of each input variable to the inference. We have conducted experiments with various DNNs. Experimental results have demonstrated the effectiveness of the proposed method.

연구 동기 및 목표

• 다양한 입력 변수들이 다변량 상호작용을 통해 DNN 예측에 공동으로 영향을 미치는 방식을 이해하기 위해.
• 일관된 특징 협동군을 형성하는 입력 변수 간의 중요한 상호작용을 식별하고 측정하기 위해.
• 게임 이론(셰플리 값)에 기반한 방법을 개발하여 입력 변수 그룹의 예측 기여도를 할당하기 위해.
• 다양한 DNN 아키텍처를 대상으로 실험적 평가를 통해 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 이 방법은 다변량 상호작용을 정의하기 위해 셰플리 값 프레임워크를 사용하여 입력 변수 조합에 대한 모델 출력을 공정하게 할당한다.
• 입력 변수 협동군이 예측에 기여하는 마진널 기여도를 측정하여 상호작용의 중요도를 정량화한다.
• 입력 변수를 협동 게임의 플레이어로 모델링하며, 하위 집합의 입력이 포함될 때 모델 출력의 변화를 반영하는 가치 함수를 정의한다.
• 변수들이 다른 협동군에 추가될 때 셰플리 값의 차이를 기반으로 상호작용 강도를 계산한다.
• 다양한 DNN에 적용하여 예측을 이끄는 주요 특징 협동군을 추출하고 해석한다.

실험 결과

연구 질문

• RQ1 DNN에서 어떤 입력 변수 조합이 강한 다변량 상호작용을 보이는가?
• RQ2 게임 이론 원리에 기반해 입력 변수 협동군의 예측 기여도를 공정하게 할당할 수 있는가?
• RQ3 식별된 상호작용 특징 협동군이 DNN에서 의미 있는 원형 특징로 대응하는가?
• RQ4 제안된 방법은 다양한 아키텍처와 데이터셋에서 DNN 행동을 해석하는 데 얼마나 효과적인가?

주요 결과

• 이 방법은 DNN이 기억한 원형 표현형에 대응하는 주요 특징 협동군을 성공적으로 식별한다.
• 다변량 상호작용은 모델 예측에 크게 기여하며, 특정 입력 그룹은 비례하지 않게 높은 상호작용 중요도를 가진다.
• 셰플리 값 기반 할당은 다양한 DNN에서 상호작용 중요도를 공정하고 일관되게 측정하는 데에 효과적이다.
• 다양한 DNN에서의 실험적 평가를 통해 이 방법은 복잡한 상호작용 패턴을 해석하는 데 효과적임을 입증한다.