[論文レビュー] Learning Global Additive Explanations for Neural Nets Using Model Distillation

Sarah Tan, Rich Caruana+3 more|arXiv (Cornell University)|Sep 27, 2018

Explainable Artificial Intelligence (XAI)参考文献 22被引用数 83

ひとこと要約

この論文では、モデル蒸留を用いて、局所的な予測を越えて一般化されたモデル行動を捉える特徴形状を表す、グローバルな加法的説明を学習する手法を提案している。このアプローチにより、入力特徴が全データセット全体にわたりモデル出力に与える影響について、解釈可能で定量的な洞察が得られる。

ABSTRACT

Interpretability has largely focused on local explanations, i.e. explaining why a model made a particular prediction for a sample. These explanations are appealing due to their simplicity and local fidelity. However, they do not provide information about the general behavior of the model. We propose to leverage model distillation to learn global additive explanations that describe the relationship between input features and model predictions. These global explanations take the form of feature shapes, which are more expressive than feature attributions. Through careful experimentation, we show qualitatively and quantitatively that global additive explanations are able to describe model behavior and yield insights about models such as neural nets. A visualization of our approach applied to a neural net as it is trained is available at this https URL.

研究の動機と目的

• 局所的説明の限界を克服し、ニューラルネットワークの一般化された行動を捉えること。
• 入力空間全体にわたる特徴寄与度を記述するグローバルで加法的な説明を学習する手法を開発すること。
• 複雑なモデルから単純で解釈可能なサロゲートモデルに知識を転送するために、モデル蒸留を用いること。
• 局所的アトリビューションよりも表現力が高く、入力と予測の間の一貫した関係を明らかにする、特徴形状を生成すること。
• グローバルな解釈性を通じて、ニューラルネットワーク行動に関する定性的かつ定量的な洞察を提供すること。

提案手法

• 訓練済みニューラルネットワークの予測を模倣するように、サロゲートモデルを訓練するためのモデル蒸留を活用すること。
• 特徴ごとの寄与度を最適化することで、サロゲートモデルが加法的説明を出力するように訓練すること。
• 蒸留されたサロゲートモデルを用いて、各入力特徴のグローバルな影響を表す特徴形状を学習すること。
• 多様な入力に対してオリジナルモデルの出力と一致するように、サロゲートモデルの忠実度を保証すること。
• 得られた特徴形状を可視化し、特徴が予測にどのように統合的に影響を与えるかを解釈すること。
• 訓練中にこの手法を適用し、特徴重要度の時間的変化を観察すること。

実験結果

リサーチクエスチョン

• RQ1 モデル蒸留は、ニューラルネットワークの真の行動を反映するグローバルな加法的説明を効果的に生成できるか？
• RQ2 学習された特徴形状は、モデル行動を捉える上で、局所的アトリビューションと比較してどの程度優れているか？
• RQ3 グローバルな説明は、モデル意思決定における一貫性があり、解釈可能なパターンをどの程度明らかにできるか？
• RQ4 この手法は、異なるデータセットやモデルアーキテクチャでどの程度有効に機能するか？
• RQ5 訓練中の特徴形状の変化は、学習ダイナミクスに関する洞察を提供できるか？

主な発見

• モデル蒸留を用いて得られたグローバルな加法的説明は、多様な入力に対してニューラルネットワークの一般化された行動を的確に捉えている。
• 局所的アトリビューションよりも表現力が高く一貫性があるため、特徉形状は特徴と予測の間の安定した関係を明らかにしている。
• この手法により、訓練中の特徴重要度の変化を可視化でき、学習ダイナミクスに関する洞察が得られる。
• 定量的評価では、サロゲートモデルの説明とオリジナルモデルの行動との間で強い整合性が確認された。
• このアプローチは、定性的に意味のあるだけでなく、定量的にも信頼性のあるグローバルな洞察を提供している。
• この手法はデータセットやアーキテクチャを問わず汎用可能であり、強固さとスケーラビリティを示している。