[論文レビュー] The Inadequacy of Shapley Values for Explainability

Xuanxiang Huang, João Marques‐Silva|arXiv (Cornell University)|Feb 16, 2023

Explainable Artificial Intelligence (XAI)被引用数 12

ひとこと要約

この論文は、Shapley値が explanationsにおける特徴量の重要度を誤って表す可能性があると主張し、関連性の低い特徴量が重要に見える事例と、関連性の高い特徴量が重要でないように見える事例を示し、厳密な代替案の計算的実現可能性の欠如について論じている。

ABSTRACT

This paper develops a rigorous argument for why the use of Shapley values in explainable AI (XAI) will necessarily yield provably misleading information about the relative importance of features for predictions. Concretely, this paper demonstrates that there exist classifiers, and associated predictions, for which the relative importance of features determined by the Shapley values will incorrectly assign more importance to features that are provably irrelevant for the prediction, and less importance to features that are provably relevant for the prediction. The paper also argues that, given recent complexity results, the existence of efficient algorithms for the computation of rigorous feature attribution values in the case of some restricted classes of classifiers should be deemed unlikely at best.

研究の動機と目的

• XAIにおける厳密な説明の必要性を動機づけ、SHAP/Shapleyベースの特徴アトリビューションを批判する。
• 正確なShapley値が予測の特徴 relevancyを誤分類できることを示す。
• abductive explanationsをShapleyベースのアトリビューションと関連づけ、根本的な欠陥を暴く。
• 関連性を考慮した代替的な特徴重要度の測度を提案する。
• 効率的で厳密なアトリビューション手法の計算複雑性の障壁を論じる。

提案手法

• 固定特徴集合が同じ予測を保証する十分性関数sigmaを定義する。
• 固定と未固定の特徴セット上でphi(S;M,v)に基づいてShapley値 Sv(i) を計算する。
• abductive explanations (AXp) と contrastive explanations (CXp) を分析し、それらの最小ヒット集合の双対性をsigmaと対比する。
• sigmaの素 implicants（prime implicants）、 essential variables、feature relevancy との関係を確立する。
• 全ての説明の列挙を通じて、irrelevant featuresには0を、relevantには非零を割り当てる代替測度を提案する。
• SHAPの結果が正確なShapley値や特徴 relevancy から乖離することを実証し、より良い定義の計算不可能性について論じる。

実験結果

リサーチクエスチョン

• RQ1 irrelevant features receive non-zero Shapley values (I1)が存在する classifiers と instances はあるか？
• RQ2 irrelevant feature が relevant より上位にランク付けされる（I2） classifiers と instances はあるか？
• RQ3 relevant feature が zero Shapley value を持つ（I3） classifiers と instances はあるか？
• RQ4 relevant feature が zero Shapley value で、無関係なものが non-zero のまま残る（I4） classifiers と instances はあるか？
• RQ5 意味のあるクラス（例：d-DNNFs）に対して正確なShapley値やその派生を効率的に計算できるか（P=NP を含意しない形で）？

主な発見

• SHAP’s approximate Shapley values often disagree with exact Shapley values, including feature orderings.
• There are instances where irrelevant features receive non-zero Shapley values for a given prediction (I1).
• There are instances where a relevant feature has zero Shapley value (I3).
• Examples show irrelevant features can outrank relevant features in Shapley-based rankings (I2, I4).
• Some tractable cases exist for deciding feature relevancy, notably for decision trees, but in general relevancy problems are computationally challenging.
• The authors propose a simple, relevancy-respecting measure of feature importance based on the full set of abductive explanations, albeit with potential computational hardness.