[論文レビュー] Feature Removal Is a Unifying Principle for Model Explanation Methods

Ian Covert, Scott Lundberg+1 more|arXiv (Cornell University)|Nov 6, 2020

Explainable Artificial Intelligence (XAI)参考文献 57被引用数 19

ひとこと要約

本稿は、特徴量の削除という原則に基づき、26種類の多様な手法（SHAP、LIME、パーミュテーションテストを含む）がこのコアメカニズムを共有することを示す、モデル解釈手法の統合的フレームワークを提案する。特徴量の削除の仕方、分析対象となるモデルの挙動、影響の要約方法という3つの次元を通じて、特徴量の削除を形式化することで、局所的・グローバル的・ゲーム理論的アプローチの間で深い構造的類似性が明らかになり、より良い手法選択を可能にするとともに、今後の研究を導く。

ABSTRACT

Researchers have proposed a wide variety of model explanation approaches, but it remains unclear how most methods are related or when one method is preferable to another. We examine the literature and find that many methods are based on a shared principle of explaining by removing - essentially, measuring the impact of removing sets of features from a model. These methods vary in several respects, so we develop a framework for removal-based explanations that characterizes each method along three dimensions: 1) how the method removes features, 2) what model behavior the method explains, and 3) how the method summarizes each feature's influence. Our framework unifies 26 existing methods, including several of the most widely used approaches (SHAP, LIME, Meaningful Perturbations, permutation tests). Exposing the fundamental similarities between these methods empowers users to reason about which tools to use, and suggests promising directions for ongoing model explainability research.

研究の動機と目的

• 文献に増加した多様なモデル解釈手法の間の関係性とその背後にある原則を明確化すること。
• 多くの既存の解釈技術に共通する根幹の原則である「特徴量の削除」を同定すること。
• 特徴量の削除戦略、分析対象となるモデルの挙動、影響の要約方法という3つの次元に沿って、解釈手法を特徴付ける形式的フレームワークを構築すること。
• SHAP や LIME、IME といった広く使われている手法の理解を体系化し、それらが特徴量の削除に共通する基盤を有することを明らかにすること。
• 研究者や実務家が手法選択についてより慎重に考察できるようにし、モデルの解釈可能性に関する今後の研究を導くこと。

提案手法

• フレームワークは、解釈手法が3つのコア的選択に基づいて動作するとモデル化する：(1) 特徴量の削除の方法（例：ベースラインに置き換え、周辺化、別個のモデルを訓練するなど）、(2) 分析対象となるモデルの挙動（例：予測、損失、分散）、(3) 特徴量の影響の要約方法（例：期待値、差分、シャープレー値）。
• 異なる特徴量の削除戦略を表現・比較するための数学的道具として、サブセット関数が導入され、手法間の相互交換性を可能にする。
• 既存の手法を、そのコアの目的と実装上の近似（例：特徴量の周辺分布や条件付き分布を用いた削除）に分離することで、一般化を図る。
• グローバル手法とローカル手法の間の関係を形式化し、Shapley効果 や SAGE といった手法ですら、同じ特徴量の削除の枠組みで表現可能であることを示す。
• SHAP、LIME、意味のあるパラメータ変更、パーミュテーションテスト、TreeSHAP を含む26の手法にフレームワークを適用し、それらが共通の基盤を有することを実証する。
• 数学的導出を用いて、特定の仮定（例：削除された特徴量に共通の周辺分布を使用）のもとで、KernelSHAP や IME が数学的に同等であることを示す。

実験結果

リサーチクエスチョン

• RQ1 SHAP や LIME、パーミュテーションテストといった広く使われているモデル解釈手法は、根本的にどのように関連しているか？
• RQ2 多様な解釈手法に共通するコアメカニズムを捉える統合的フレームワークを開発できるか？
• RQ3 既存の解釈手法を区別する3つの主要な次元は何か？ ただし、共通の原則を保ちつつ。
• RQ4 ゲーム理論的アプローチと特徴量選択技術といった、見た目は無関係に思える手法が、同じ根本的メカニズムを共有している程度はどの程度か？
• RQ5 このフレームワークは、たとえば特徴量を周辺化する際の分布の選択といった、既存手法の仮定と妥当性のトレードオフをどのように明確化できるか？

主な発見

• 本稿は、SHAP や LIME、パーミュテーションテストを含む26の既存の解釈手法において、特徴量の削除が統合的原則として機能することを同定し、それらがすべてモデルから特徴量を削除した際の影響を測定することで動作することを明らかにした。
• フレームワークは、すべての手法が3つの選択（特徴量の削除戦略、分析対象となるモデルの挙動、影響の要約方法）によって特徴付けられることを形式化し、体系的な比較を可能にした。
• 特定の仮定（例：削除された特徴量に共通の周辺分布を使用）のもとで、IME や SHAP が数学的に同等であることが示された。
• フレームワークは、TreeSHAP が欠損特徴量を処理する方法が標準的な周辺化とは等価でないことを明らかにした。代わりに、木構造に基づくパス平均化メカニズムを用いている。
• 分散に基づく手法（例：Shapley効果、SAGE）が、協力ゲームを損失または分散低減の観点から再定義することで、特徴量の削除フレームワークに再構築可能であることを実証した。
• 手法のコアの目的とその計算上の近似を分離することで、フレームワークは、一部の広く使われている手法が一貫して明示されていないが、均一分布や周辺分布といった暗黙の仮定に依存していることを暴露した。