[論文レビュー] Shapley explainability on the data manifold
本稿では、AI解釈性におけるオフマンフォールド解釈の限界を克服するため、データマンフォールド上でのシャープレー値計算の2つの手法を提案する。1つ目の手法は、入力サブセット上で特徴量を条件付きで補完する生成モデルを用いるものであり、2つ目の手法は教師あり回帰を用いてシャープレー値関数を直接学習するものである。両手法とも、特にMNISTや薬物摂取データセットなどの高次元データにおいて、オフマンフォールドベースラインに比べてより正確で安定的かつ解釈可能な説明を実現する。
Explainability in AI is crucial for model development, compliance with regulation, and providing operational nuance to predictions. The Shapley framework for explainability attributes a model's predictions to its input features in a mathematically principled and model-agnostic way. However, general implementations of Shapley explainability make an untenable assumption: that the model's features are uncorrelated. In this work, we demonstrate unambiguous drawbacks of this assumption and develop two solutions to Shapley explainability that respect the data manifold. One solution, based on generative modelling, provides flexible access to data imputations; the other directly learns the Shapley value-function, providing performance and stability at the cost of flexibility. While "off-manifold" Shapley values can (i) give rise to incorrect explanations, (ii) hide implicit model dependence on sensitive attributes, and (iii) lead to unintelligible explanations in higher-dimensional data, on-manifold explainability overcomes these problems.
研究の動機と目的
- オフマンフォールドシャープレー値の根本的な欠陥を特定・提示する。具体的には、特徴量の独立性を仮定し、現実的でないデータスプライシングを生じること。
- モデルに依存しない解釈性における、オフマンフォールド補完によって引き起こされる不正確で不安定かつ理解不能な説明の問題を解決する。
- 下位のデータマンフォールドを尊重する、スケーラブルで汎用的なシャープレー値計算手法を2つ開発する。
- 特に高次元データにおいて、マンフォールド上での説明がオフマンフォールドの対比に比べてより正確で安定的かつ意味的に明確であることを示す。
- 現実的でないデータスプライシングを回避する、実用的で高性能かつモデルに依存しないシャープレー解釈性のソリューションを提供する。
提案手法
- データの一貫性を保つために、協力に含まれない特徴量を協力に含まれる特徴量で条件づけることで、マンフォールド上での値関数 $ v^{\text{(on)}}_{f_y(x)}(S) = \mathbb{E}_{p(x'\mid x_S)}[f_y(x')] $ を提案する。
- 生成モデルを用いて $ p(x'\mid x_S) $ を推定するアプローチを導入し、データマンフォールド上での柔軟かつモデルに依存しない欠損特徴量の補完を可能にする。
- ニューラルネットワークを用いてシャープレー値関数を直接回帰する教師あり学習手法を開発し、値関数の平均二乗誤差（MSE）を最小化する。
- 学習済みの条件付き分布 $ \hat{p}(x'\mid x_S) $ からのモンテカルロサンプリングを用いて、マンフォールド上でのシャープレー値を効率的に計算する。
- 教師ありモデルのエンドツーエンド学習を可能にする微分可能アーキテクチャを採用し、説明の正確性を直接最適化できるようにする。
- MNISTおよび薬物摂取データセット上で両手法を検証し、オフマンフォールドベースラインおよび実測の真値と性能を比較する。
実験結果
リサーチクエスチョン
- RQ1オフマンフォールドシャープレー値には、説明の正確性、感受性のある属性への感受性、高次元データにおける解釈性の観点で、どのような具体的な欠陥があるのか？
- RQ2特徴量の独立性を仮定せず、一般の高次元データセットにおいても、マンフォールド上でのシャープレー値を効率的かつ正確に計算できるのか？
- RQ3生成モデルと直接値関数学習の両手法は、マンフォールド解釈性において、正確性、安定性、計算効率の観点でどのように比較されるか？
- RQ4マンフォールド上での説明は、オフマンフォールド手法に比べて、解釈性をどの程度向上させ、誤った帰属をどの程度低減できるか？
- RQ5マンフォールド上でのシャープレー値は、感受性のある属性へのモデルの潜在的依存関係を効果的に露わにしたり隠蔽したりできるのか？オフマンフォールド手法と比較してどうなるか？
主な発見
- オフマンフォールドシャープレー値は、特にMNISTのような高次元データにおいて、現実的でないデータスプライシングにより不正確な説明を生じる。
- オフマンフォールド手法は、感受性のある属性へのモデルの潜在的依存関係を隠蔽する可能性があり、規制対象のAIシステムにおける公平性とコンプライアンスを損なう。
- マンフォールド上での説明は、より集中的で解釈可能であり、MNISTの数字においては、手書きのストロークのような重要な特徴が明確に強調される。
- 教師あり手法は、オフマンフォールドスプライシング（0.0448 ± 0.0005）に比べて、テストセットMSEが著しく低く（例：薬物摂取データで0.0121 ± 0.0001）なっており、正確性の向上を示している。
- 教師あり手法は、同じ標準誤差を達成するためのモデル評価回数が、非教師あり生成アプローチの約10倍少ないため、より安定的かつ効率的である。
- マンフォールド上での説明は、低次元のデータマンフォールドに一致するように、信頼できる帰属を達成するのに必要な特徴量（ピクセル）の数がはるかに少ない。一方、オフマンフォールド手法は、大きな協力集合に依存する。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。