[論文レビュー] Interpretable Mixture of Experts

Aya Abdelsalam Ismail, Sercan Ö. Arık+4 more|arXiv (Cornell University)|Jun 5, 2022

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

この論文では、解釈可能な専門家（線形モデルや決定木など）と学習可能な割り当てモジュールを組み合わせることで、表形式および時系列データに対して高い精度で、本質的に解釈可能な予測を生成する新しいフレームワーク、解釈可能な混合専門家（IME）を紹介する。IMEは、深層ニューラルネットワークと同等の最先端の精度を達成するとともに、忠実で人間が理解可能な説明を提供し、後処理的手法よりもユーザーの信頼性と解釈可能性において優れている。

ABSTRACT

The need for reliable model explanations is prominent for many machine learning applications, particularly for tabular and time-series data as their use cases often involve high-stakes decision making. Towards this goal, we introduce a novel interpretable modeling framework, Interpretable Mixture of Experts (IME), that yields high accuracy, comparable to `black-box' Deep Neural Networks (DNNs) in many cases, along with useful interpretability capabilities. IME consists of an assignment module and a mixture of experts, with each sample being assigned to a single expert for prediction. We introduce multiple options for IME based on the assignment and experts being interpretable. When the experts are chosen to be interpretable such as linear models, IME yields an inherently-interpretable architecture where the explanations produced by IME are the exact descriptions of how the prediction is computed. In addition to constituting a standalone inherently-interpretable architecture, IME has the premise of being integrated with existing DNNs to offer interpretability to a subset of samples while maintaining the accuracy of the DNNs. Through extensive experiments on 15 tabular and time-series datasets, IME is demonstrated to be more accurate than single interpretable models and perform comparably with existing state-of-the-art DNNs in accuracy. On most datasets, IME even outperforms DNNs, while providing faithful explanations. Lastly, IME's explanations are compared to commonly-used post-hoc explanations methods through a user study -- participants are able to better predict the model behavior when given IME explanations, while finding IME's explanations more faithful and trustworthy.

研究の動機と目的

• 表形式および時系列データを含むハイリスクな応用分野において、信頼性があり忠実で解釈可能なモデルの説明が求められるという重要なニーズに対処すること。
• ブラックボックスの深層ニューラルネットワークと同等の高い予測精度を維持しながら、本質的に解釈可能な予測を提供するフレームワークを開発すること。
• 解釈可能な専門家および割り当てモジュールを許容するか、DNNと統合することでハイブリッド解釈性を実現するなど、完全解釈性と部分的解釈性を可能にすること。
• IMEの説明が、サリエンシー図のような後処理的手法よりも信頼性が高く、より解釈しやすいかどうかを評価すること。
• 多様な実世界のデータセット、特に表形式および時系列データの両方を含む、多様なデータタイプに一般化できることを示すこと。

提案手法

• IMEは、各入力サンプルが微分可能で、スパースな専門家選択を保証する割り当てモジュールを通じて1つの専門家に割り当てられる混合専門家アーキテクチャを採用する。
• フレームワークは複数の構成をサポートする：S-IME（単一レベルの割り当て）とH-IME（階層的割り当て）、解釈可能なまたはDNNベースの割り当ておよび専門家を用いる選択肢を含む。
• 解釈可能な専門家には、線形モデル、決定木、またはその他の本質的に解釈可能なモデルが含まれ、予測が特徴量の寄与度によって正確に記述されることを保証する。
• 割り当てモジュールは、汎化性能と安定性を向上させるために、実用性、滑らかさ、専門家割り当て正則化を含む複合損失関数を用いてエンドツーエンドで学習可能である。
• 過去の予測誤差を割り当てモジュールの入力特徴として統合することで、サンプルを最も適切な専門家にルーティングする能力が向上する。
• 完全解釈性（両方の割り当てと専門家が解釈可能）と部分的解釈性（専門家のみが解釈可能）の両方をサポートし、精度と解釈性のトレードオフを可能にする。

実験結果

リサーチクエスチョン

• RQ1 解釈可能な専門家の混合は、表形式および時系列データにおいて、最先端の深層ニューラルネットワークと同等の予測精度を達成できるか？
• RQ2 IMEは、サリエンシー図のような後処理的手法よりも、より忠実で信頼性が高く、より解釈しやすい説明を提供するか？
• RQ3 IMEは、表形式および多次元時系列データを含む多様なデータタイプに一般化可能であり、性能を犠牲にせずに運用可能か？
• RQ4 割り当てモジュールに過去の予測誤差を組み込むことで、モデル性能およびルーティング精度にどのような影響を与えるか？
• RQ5 精度と解釈性のバランスをとるために、専門家の最適な数とモデル容量は何か？

主な発見

• IMEは15の実世界の表形式および時系列データセットにおいて、線形回帰や決定木といった単一の解釈可能なモデルを上回り、ほとんどの場合で高い精度を達成した。
• IMEはいくつかのベンチマークで最先端の性能を達成しており、特に長い入力系列を伴う線形モデルを用いた場合、ブラックボックスのDNN（例：LSTM）を上回ることさえある。
• ユーザー研究の結果、参加者はIMEの説明の方がサリエンシーに基づく説明よりもモデルの挙動をより正確に予測でき、信頼性が高く忠実であると感じた。
• アブレーションスタディの結果、損失関数のすべての構成要素（実用性、滑らかさ、専門家割り当て正則化）が最適な性能を発揮するために不可欠であることが確認された。
• 線形モデル専門家の最適な専門家数は40、ソフト決定木専門家の最適な専門家数は20であり、専門家が過剰容量のため過小利用されると性能が低下した。
• 割り当てモジュールがDNNであっても、専門家コンponentsを通じて解釈可能な予測を維持できるため、ハイブリッド解釈性を実現できる。