[論文レビュー] The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal Sufficient Subsets

Oana-Maria Camburu, Eleonora Giunchiglia+3 more|arXiv (Cornell University)|Sep 23, 2020

Explainable Artificial Intelligence (XAI)被引用数 11

ひとこと要約

この論文は、特徴に基づく予測解釈が、単純なモデルですら複数の真の解釈が存在しうることを示しており、本質的に曖昧であることを明らかにする。Shapley値と最小十分な部分集合（MSS）の解釈手法は根本的に異なる種類の解釈を対象としており、Shapley値は加法的寄与度として特徴の重要性を測るが、MSSは予測を維持する最小の特徴集合を特定する。このことは、両者を単独で用いるだけではモデルの挙動を完全に捉えることはできないことを示している。

ABSTRACT

For neural models to garner widespread public trust and ensure fairness, we must have human-intelligible explanations for their predictions. Recently, an increasing number of works focus on explaining the predictions of neural models in terms of the relevance of the input features. In this work, we show that feature-based explanations pose problems even for explaining trivial models. We show that, in certain cases, there exist at least two ground-truth feature-based explanations, and that, sometimes, neither of them is enough to provide a complete view of the decision-making process of the model. Moreover, we show that two popular classes of explainers, Shapley explainers and minimal sufficient subsets explainers, target fundamentally different types of ground-truth explanations, despite the apparently implicit assumption that explainers should look for one specific feature-based explanation. These findings bring an additional dimension to consider in both developing and choosing explainers.

研究の動機と目的

• 単純なモデルですら、モデル予測の複数の真の特徴ベースの解釈が存在しうることを調査すること。
• Shapley値と最小十分な部分集合（MSS）という2つの主要な解釈手法の根本的な違いを検討すること。
• 任意のモデル予測に対して唯一の、一意の真の解釈が存在すると暗黙のうちに仮定することを疑問視すること。
• 各解釈手法がモデルの意思決定プロセスを完全に捉えることの限界を強調すること。
• ユーザーのニーズや文脈に基づき、手法が意図する解釈の種類をより明確に提示する必要性を提唱すること。

提案手法

• 明確な意思決定論理を持つルールベースモデルを用いて特徴ベースの解釈を分析し、モデル挙動の完全な制御と検証を可能にする。
• 協力ゲーム理論の標準的公式を用いてShapley値を計算し、各特徴がすべての部分集合を通じた限界寄与度に基づいて寄与度を割り当てる。
• 最小十分な部分集合（MSS）を、孤立して使用した場合にモデルの予測を維持する最小の特徴集合として特定する。
• 同一のモデルインスタンスに対してShapley解釈とMSS解釈を比較し、特徴の重要性と必要性の解釈の違いを対比する。
• 特徴のマスク処理とベースライン置換を用いて部分集合でのモデル出力を計算し、MSSの評価を一貫性を持たせる。
• 複数のMSSが存在するケース（例：同じ入力で{"good", "very"} と {"nice"}）を分析し、解釈手法がこのような代替解釈を無視または誤って表現する可能性があることを示す。

実験結果

リサーチクエスチョン

• RQ1 単一のモデル予測に対して、単純で透明なモデルですら、複数の真の特徴ベースの解釈が共存しうるか？
• RQ2 Shapley値と最小十分な部分集合（MSS）は、それぞれが提供しようとする解釈の種類でどのように異なるか？
• RQ3 Shapley値とMSS解釈手法は、モデルの意思決定プロセスをどの程度完全に表現できていないか？
• RQ4 両者の解釈を組み合わせることで、それぞれ単独で用いるよりもモデル挙動をより完全に理解できるか？
• RQ5 複数の有効で異なる解釈が共存しうる状況において、唯一の真の解釈が存在すると仮定するのはなぜ問題なのか？

主な発見

• 同じモデル予測に対して、複数の真の特徴ベースの解釈が存在しうる。例えば、同じ入力で{"nice"} と {"good", "very"} が両方とも最小十分な部分集合である。
• Shapley値は "good" や "nice" のような特徴に非ゼロの重要度を割り当て、それらの限界寄与度を反映するが、特徴が個別に十分であるかどうかを示さない。
• 最小十分な部分集合の解釈手法は、複数の有効な部分集合が存在する場合でも、1つの部分集合（例：{"nice"}）しか返さないことがあるため、解釈が不完全または偏りを含むことがある。
• 重複するか矛盾する特徴（例：感情分析モデルにおける "amazing" と "bad"）がある場合、MSS解釈手法は真の意思決定論理を歪めるアーチファクトを生成する可能性がある。
• Shapley値は、個別に十分な特徴と余分な特徴を区別でき、例えば "nice" が十分に十分な状況でも "good" が情報として有用であることを示せる。
• Shapley値とMSSの両方の解釈を組み合わせることで、より包括的な理解が得られる。例えば、"nice" が存在する場合 "good" は余分であるが、孤立しては情報として有用であることが特定できる。