[논문 리뷰] Interpretable Mixture of Experts

Aya Abdelsalam Ismail, Sercan Ö. Arık외 4명|arXiv (Cornell University)|2022. 06. 05.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 해석 가능한 전문가(예: 선형 모델 또는 결정 트리)와 학습 가능한 할당 모듈을 조합하여 표본 및 시계열 데이터에 대해 고정도의 해석 가능한 예측을 제공하는 새로운 프레임워크인 Interpretable Mixture of Experts(IME)를 소개한다. IME는 딥 네URAL 네트워크 수준의 최신 성능에 근접한 정확도를 달성하면서도 인간이 이해할 수 있는 정확한 설명을 제공하여 사후 해석 방법보다 사용자 신뢰도와 해석 가능성에서 뛰어나다.

ABSTRACT

The need for reliable model explanations is prominent for many machine learning applications, particularly for tabular and time-series data as their use cases often involve high-stakes decision making. Towards this goal, we introduce a novel interpretable modeling framework, Interpretable Mixture of Experts (IME), that yields high accuracy, comparable to `black-box' Deep Neural Networks (DNNs) in many cases, along with useful interpretability capabilities. IME consists of an assignment module and a mixture of experts, with each sample being assigned to a single expert for prediction. We introduce multiple options for IME based on the assignment and experts being interpretable. When the experts are chosen to be interpretable such as linear models, IME yields an inherently-interpretable architecture where the explanations produced by IME are the exact descriptions of how the prediction is computed. In addition to constituting a standalone inherently-interpretable architecture, IME has the premise of being integrated with existing DNNs to offer interpretability to a subset of samples while maintaining the accuracy of the DNNs. Through extensive experiments on 15 tabular and time-series datasets, IME is demonstrated to be more accurate than single interpretable models and perform comparably with existing state-of-the-art DNNs in accuracy. On most datasets, IME even outperforms DNNs, while providing faithful explanations. Lastly, IME's explanations are compared to commonly-used post-hoc explanations methods through a user study -- participants are able to better predict the model behavior when given IME explanations, while finding IME's explanations more faithful and trustworthy.

연구 동기 및 목표

• 표본 및 시계열 데이터를 포함한 고위험 응용 분야에서 신뢰할 수 있고 정확하며 해석 가능한 모델 설명의 필수적 필요를 해결하기 위해.
• 블랙박스 딥 네URAL 네트워크 수준의 높은 예측 정확도를 유지하면서도 내재적으로 해석 가능한 예측을 제공하는 프레임워크를 개발하기 위해.
• 해석 가능한 전문가 및 할당 모듈 또는 DNN과의 통합을 통해 전체 또는 부분 해석 가능성(해석 가능성)을 가능하게 하여 정확도와 해석 가능성 간의 트레이드오���을 허용하기 위해.
• IME의 설명이 사후 해석 방법(예: 샐런시 맵)보다 더 신뢰할 수 있고 더 쉽게 이해할 수 있는지 평가하기 위해.
• 다양한 실제 데이터 세트, 특히 표본 및 시계열 데이터 유형을 포함한 일반화 능력을 입증하기 위해.

제안 방법

• IME는 각 입력 샘플이 미분 가능한 할당 모듈을 통해 단일 전문가에게 할당되는 전문가 혼합 아키텍처를 사용하며, 이로써 전문가 선택의 희소성을 보장한다.
• 이 프레임워크는 다양한 구성 방식을 지원한다: S-IME(단일 수준 할당)와 H-IME(계층적 할당)이며, 해석 가능한 할당 모듈 또는 DNN 기반 할당 모듈과 전문가를 선택할 수 있다.
• 해석 가능한 전문가는 선형 모델, 결정 트리 또는 기타 내재적으로 해석 가능한 모델을 포함하며, 이로써 예측이 특성 기여도에 의해 정확히 기술됨을 보장한다.
• 할당 모듈은 유틸리티, 스무쓰니스, 전문가 할당 정규화를 포함하는 복합 손실 함수를 사용하여 엔드 투 엔드로 훈련될 수 있으며, 이는 일반화 및 안정성 향상에 기여한다.
• IME는 과거 예측 오차를 할당 모듈의 입력 특성으로 통합하여, 샘플을 가장 적절한 전문가에게 라우팅할 수 있는 능력을 향상시킨다.
• 이 프레임워크는 전문가와 할당 모듈가 모두 해석 가능한 경우 전체 해석 가능성, 전문가만 해석 가능한 경우 부분 해석 가능성(해석 가능성)을 지원하며, 정확도와 해석 가능성 간의 균형 조절이 가능하다.

실험 결과

연구 질문

• RQ1 해석 가능한 전문가 혼합이 표본 및 시계열 데이터에서 최신 딥 네URAL 네트워크 수준의 예측 정확도를 달성할 수 있는가?
• RQ2 IME는 사후 해석 방법(예: 샐런시 맵)보다 더 정확하고 신뢰할 수 있으며 더 쉽게 이해할 수 있는 설명을 제공하는가?
• RQ3 IME는 성능을 저하시키지 않고 다양한 데이터 유형, 특히 표본 및 다변량 시계열 데이터에 대해 일반화 가능한가?
• RQ4 할당 모듈에 과거 예측 오차를 포함시키는 것이 모델 성능과 라우팅 정확도에 어떤 영향을 미치는가?
• RQ5 정확도와 해석 가능성의 균형을 맞추기 위해 최적의 전문가 수와 모델 용량은 무엇인가?

주요 결과

• IME는 15개의 실제 표본 및 시계열 데이터 세트에서 선형 회귀나 결정 트리와 같은 단일 해석 가능한 모델보다 높은 정확도를 달성하며 대부분의 경우에서 뛰어난 성능을 보였다.
• IME는 여러 벤치마크에서 최신 성능을 기록했으며, 특히 더 긴 입력 시퀀스를 사용할 경우 LSTMs와 같은 블랙박스 DNN보다도 뛰어난 성능을 보였다.
• 사용자 연구 결과에 따르면 참가자들은 IME의 설명이 샐런시 기반 설명보다 더 모델 행동을 정확히 예측하고 더 신뢰할 수 있으며 더 정확한 설명이라고 평가했다.
• 제거 실험 결과 손실 함수의 모든 구성 요소—유틸리티, 스무쓰니스, 전문가 할당 정규화—가 최적의 성능을 위해 필수적임을 확인했다.
• 선형 모델 전문가의 최적 전문가 수는 40명이며, 소프트 결정 트리 전문가의 경우 20명이었으며, 과잉 용량으로 인해 전문가가 과도하게 활용되지 않을 경우 성능이 저하됨을 확인했다.
• IME는 할당 모듈이 DNN일 경우에도 높은 정확도를 유지하면서 전문가 구성 요소를 통해 해석 가능한 예측을 제공하므로 하이브리드 해석 가능성을 실현한다.