[論文レビュー] Predictive and Causal Implications of using Shapley Value for Model Interpretation

Sisi Ma, Roshan Tourani|arXiv (Cornell University)|Aug 12, 2020

Explainable Artificial Intelligence (XAI)参考文献 20被引用数 11

ひとこと要約

この論文は、ベイジアンネットワークにおけるモデル解釈にシェーリー値を用いることの予測的および因果的意味を調査する。高いシェーリー値が予測的重要性や因果的影響を信頼的に示すわけではないことが示され、機械学習モデルにおける特徴選択や因果推論にシェーリー値を用いることが疑問視されている。

ABSTRACT

Shapley value is a concept from game theory. Recently, it has been used for explaining complex models produced by machine learning techniques. Although the mathematical definition of Shapley value is straight-forward, the implication of using it as a model interpretation tool is yet to be described. In the current paper, we analyzed Shapley value in the Bayesian network framework. We established the relationship between Shapley value and conditional independence, a key concept in both predictive and causal modeling. Our results indicate that, eliminating a variable with high Shapley value from a model do not necessarily impair predictive performance, whereas eliminating a variable with low Shapley value from a model could impair performance. Therefore, using Shapley value for feature selection do not result in the most parsimonious and predictively optimal model in the general case. More importantly, Shapley value of a variable do not reflect their causal relationship with the target of interest.

研究の動機と目的

• 機械学習モデルにおけるシェーリー値と予測性能の関係を調査すること。
• シェーリー値が変数間の因果関係とターゲット結果の間に反映されるかどうかを評価すること。
• 予測モデリングにおける特徴選択のヒューリスティックとしてシェーリー値を用いる正当性を評価すること。
• 特に条件付き独立性とd-分離に関する、シェーリー値とベイジアンネットワークの構造的性質との理論的関連を確立すること。
• 特に因果関係とモデルの単純性に関する誤解を明確にすること、特にモデル解釈におけるシェーリー値に関して。

提案手法

• シェーリー値理論を用いて、予測モデリングを協力ゲームとして形式化した。
• 構造的妥当性を保証するために、忠実な因果的ベイジアンネットワークを用いてデータ生成をモデル化した。
• 変数間の関係を分析するために、d-分離と条件付き独立性を用いた。
• 特にターゲットへの経路とマークフ・バウンダリーに注目し、ネットワーク構造にシェーリー値をマッピングした。
• 因果的ベイジアンネットワークの理論的結果（例：定理25、30）を応用し、変数の構造的役割を解釈した。
• 条件付き独立性に基づく変数の関連性（強い、弱い、無関係）とシェーリー値を比較する理論的分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 高いシェーリー値を持つ変数が、必ずしも予測性能に寄与するわけではないか？
• RQ2 シェーリー値は、変数がターゲット変数に因果的に影響を与えるかどうかを信頼性を持って示せるか？
• RQ3 特徴選択にシェーリー値を用いることで、より予測的かつ単純なモデルが得られるだろうか？
• RQ4 ベイジアンネットワークにおけるシェーリー値と条件付き独立性の理論的関係は何か？
• RQ5 d-接続やマークフ・バウンダリーなどの構造的性質は、シェーリー値の割り当てとどのように関係するか？

主な発見

• 高いシェーリー値を持つ変数を除外しても、必ずしも予測性能が低下しない。これは、高いシェーリー値が予測的重要性を意味するわけではないことを示している。
• 低いシェーリー値を持つ変数がモデル性能に顕著に影響を与えることがある。これは、シェーリー値が予測的貢献の信頼できる指標ではないことを示している。
• シェーリー値はターゲットとの因果関係を反映しない。ターゲットの直接的因果要因または結果でない変数が、高いシェーリー値を示すことがある。
• 一般に、シェーリー値とベイジアンネットワークにおける構造的役割（特にターゲットのマークフ・バウンダリーに属するかどうか）との間には対応がない。
• 高い値を持つ特徴が統計的に無関係である可能性があるため、特徴選択にシェーリー値を用いることは、最も予測的で単純なモデルをもたらさない可能性がある。
• 理論的分析により、忠実性仮定のもとでも、シェーリー値がベイジアンネットワークにおける因果的意味と一致しないことが確認された。