[論文レビュー] WeightedSHAP: analyzing and improving Shapley based feature attributions

Yongchan Kwon, James Zou|arXiv (Cornell University)|Sep 27, 2022

Explainable Artificial Intelligence (XAI)被引用数 15

ひとこと要約

この論文は、特徴量の寄与度を測る際のシャープレー値のアトリビューションにおいて、均等な重み付けが不適切な特徴量重要度順序を生じさせるという限界を解消するため、データに依存する重みを学習する一般化手法であるWeightedSHAPを提案する。実験では、多様なデータセットで複数の評価指標において、標準的なシャープレー値や他のベースラインと比較して予測再現性と性能が顕著に向上することを示している。

ABSTRACT

Shapley value is a popular approach for measuring the influence of individual features. While Shapley feature attribution is built upon desiderata from game theory, some of its constraints may be less natural in certain machine learning settings, leading to unintuitive model interpretation. In particular, the Shapley value uses the same weight for all marginal contributions -- i.e. it gives the same importance when a large number of other features are given versus when a small number of other features are given. This property can be problematic if larger feature sets are more or less informative than smaller feature sets. Our work performs a rigorous analysis of the potential limitations of Shapley feature attribution. We identify simple settings where the Shapley value is mathematically suboptimal by assigning larger attributions for less influential features. Motivated by this observation, we propose WeightedSHAP, which generalizes the Shapley value and learns which marginal contributions to focus directly from data. On several real-world datasets, we demonstrate that the influential features identified by WeightedSHAP are better able to recapitulate the model's predictions compared to the features identified by the Shapley value.

研究の動機と目的

• 機械学習の解釈において、標準的なシャープレー値の限界、特にマージナル寄与度に対する均等な重み付けの問題を特定・分析すること。
• 均等な重み付けが、特定の状況下で、関連性の低い特徴量に高い影響を与える数学的に不適切な特徴量アトリビューションを生じさせることを示すこと。
• マージナル寄与度の最適な重みをデータ駆動で学習する、柔軟な、一般化されたSHAPの拡張を提案すること。
• 実験的に、WeightedSHAPが標準的なSHAPと比較して、モデルの予測をよりよく再現する影響力のある特徴量をよりよく同定できることを検証すること。
• 予測再現性や特徴量の包含／除外性能といった、さまざまな下流の評価目的にWeightedSHAPが効果的に適応できることを示すこと。

提案手法

• WeightedSHAPは、マージナル寄与度の均等平均をデータに依存する重み付き平均に置き換えることで、シャープレー値を一般化する。
• モデルの挙動に基づいて、最適な重みを学習するため、目的関数（例：予測再現誤差やAUC）を最適化する。
• マージナル寄与度の信号対雑音比に応じて、異なるコalicionサイズにおける重みを微分可能最適化プロセスで調整する。
• 既存のSHAP実装と互換性があり、モデルに依存しない解釈タスクに適用可能である。
• 特徴量サブセットにおけるモデル挙動を反映するアトリビューションを学習することで、局所的およびグローバルな解釈を両立する。
• 最適化ステップで柔軟な目的関数を用いることで、Inclusion AUC や Exclusion MSE といったさまざまな評価指標への適応が可能である。

実験結果

リサーチクエスチョン

• RQ1 標準的なシャープリー値におけるマージナル寄与度の均等な重み付けが、実世界の機械学習モデルにおいて、不適切な特徴量重要度順序を生じさせるか？
• RQ2 マージナル寄与度にデータ依存の重みを学習することで、モデル予測を再現する特徴量アトリビューションの正確性が向上するか？
• RQ3 多様な実世界のデータセットおよび評価指標において、WeightedSHAPは標準的なSHAPおよび他のベースラインと比較してどのように性能を発揮するか？
• RQ4 予測再現性や特徴量の包含／除外性能といった、さまざまな下流の目的にWeightedSHAPがどの程度適応できるか？
• RQ5 WeightedSHAPの改善効果は、さまざまなモデルやデータ分布の種類にわたって一貫しているか？

主な発見

• 4つのバイナリ分類データセットにおいて、WeightedSHAPは標準的なシャープリー値と比較して予測再現誤差が顕著に低く、平均誤差で10〜20％の一貫した改善を達成した。
• Inclusion AUC指標において、WeightedSHAPは4つの分類データセットすべてでシャープリー値を上回り、対応したt検定のp値が0.05未満であり、統計的に有意であることを示した。
• Exclusion性能評価では、特に高次元設定において、WeightedSHAPはシャープリーおよびMCIベースラインと比較して、顕著に低いMSEを示した。
• マスク特徴量のInclusionおよびExclusion指標の両方で優れた性能を発揮し、さまざまな評価目的にわたるロバストネスを示した。
• 50回の独立実験と95％信頼区間を用いた検証により、WeightedSHAPはより多くの影響力のある特徴量を一貫して同定していることが確認された。
• 改善効果は1つの指標に限定されていない。WeightedSHAPはAUC、MSE、回復誤差といった複数の評価基準において、標準的なシャープリー値を上回る性能を発揮した。