[論文レビュー] Shapley Flow: A Graph-based Approach to Interpreting Model Predictions

Jiaxuan Wang, Jenna Wiens+1 more|arXiv (Cornell University)|Oct 27, 2020

Explainable Artificial Intelligence (XAI)参考文献 33被引用数 29

ひとこと要約

Shapley Flowは、特徴量の重要度を因果グラフのノードではなくエッジに割り当てる、グラフベースの新規手法を導入することで、直接効果と間接効果を包括的に捉えた一貫性のある公理的解釈を可能にする。これは、有向非巡回グラフ（DAG）にShapley値を一般化し、因果構造を尊重する一意の解を提供する。従来のSHAP や ASV などの手法に見られる限界を解消する。

ABSTRACT

Many existing approaches for estimating feature importance are problematic because they ignore or hide dependencies among features. A causal graph, which encodes the relationships among input variables, can aid in assigning feature importance. However, current approaches that assign credit to nodes in the causal graph fail to explain the entire graph. In light of these limitations, we propose Shapley Flow, a novel approach to interpreting machine learning models. It considers the entire causal graph, and assigns credit to extit{edges} instead of treating nodes as the fundamental unit of credit assignment. Shapley Flow is the unique solution to a generalization of the Shapley value axioms to directed acyclic graphs. We demonstrate the benefit of using Shapley Flow to reason about the impact of a model's input on its output. In addition to maintaining insights from existing approaches, Shapley Flow extends the flat, set-based, view prevalent in game theory based explanation methods to a deeper, extit{graph-based}, view. This graph-based view enables users to understand the flow of importance through a system, and reason about potential interventions.

研究の動機と目的

• 特徴量間の相関による影響を無視または誤って割り当てる既存の特徴量割り当て手法の限界を是正すること。
• 既存のゲーム理論的特徴量重要度アプローチを、統一的かつグラフベースのフレームワークに統合すること。
• 因果グラフにおけるエッジに信用割り当てを行うことで、モデル予測の包括的なシステムレベルの視点を提供すること。
• 特徴量の摂動における因果順序を尊重することで、境界の一貫性と因果的正確性を保証すること。
• マニフォールド上での摂動と任意の特徴量順序によって引き起こされる割り当ての不整合を解消すること。

提案手法

• ノードではなく、有向非巡回因果グラフにおけるエッジへの信用割り当てとして特徴量の重要度を再定式化する。
• Shapley値の公理をグラフに一般化し、エッジベースの信用割り当てに対して一意の解を定義する。
• メッセージ伝達履歴をモデル化するキャリアゲームの定式化を用い、異なる説明境界間での一貫性を確保する。
• 線形性および効率性の公理を適用し、直接的および間接的影響を反映するエッジの割り当てを計算する。
• 特定のグラフカットに整合する履歴に限定する境界に注意を払った定式化を導入し、不整合を回避する。
• エッジ集合に対して一般化されたShapley値を用いた再帰的計算戦略を採用し、効率的な割り当て計算を実現する。

実験結果

リサーチクエスチョン

• RQ1 因果的依存関係を有するシステムにおいて、Shapley値フレームワークをどのように拡張することで、一貫的かつ包括的な特徴量割り当てを実現できるか？
• RQ2 なぜ既存のノードベースの割り当て手法は、因果グラフにおいて直接的および間接的効果を捉えられていないのか？
• RQ3 Shapley値の公理的性質を保ちつつ、グラフ構造上で動作する統一的フレームワークを開発できるか？
• RQ4 現実世界の因果的システムにおいて、エッジベースの割り当てはノードベースの割り当てに比べてどのように解釈性を向上させるか？
• RQ5 特徴量割り当てにおいて因果構造を無視した場合の結果は何か？また、Shapley Flowはそれらをどのように緩和するか？

主な発見

• Shapley Flowは、有向非巡回グラフ（DAG）に対して一般化されたShapley公理を一意に満たし、エッジへの信用割り当ての一貫性と公平性を保証する。
• スプリンクラーの例では、Shapley Flowは上流（季節）および下流（スプリンクラー、舗装）の変数に正しく信用を割り当てている。これに対してASVは下流効果を無視している。
• 栄養データセットでは、Shapley Flowは収縮期血圧に正の割り当てを示すが、ASVはゼロを割り当てており、直接的な因果的影響を捉えていることが示された。
• マニフォールド上SHAPは、非因果的摂動順序により年齢の割り当ての符号を反転させる誤った結果を生じるが、Shapley Flowは因果構造を尊重することでこれを回避する。
• すべての可能な履歴を考慮すると境界の不整合が生じるが、Shapley Flowは特定の説明境界に整合する履歴に限定することでこれを回避する。
• Shapley Flowは、重要度の流れをシステム全体で追跡可能にし、介入の可能性や因果的経路に関する推論を支援する。