[論文レビュー] Explainability is NOT a Game

João Marques‐Silva, Xuanxiang Huang|arXiv (Cornell University)|Jun 27, 2023

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

この論文は、説明可能なAI（XAI）における特徴量の重要度を測るのによく使われるシャープレー値が、関連のない特徴量に高い重要度を割り当て、関連のある特徴量に低い重要度を割り当てるなど、重要度を誤って割り当てる可能性があることを示しており、高リスク分野における信頼できるモデル説明には根本的に不適切であることを明らかにしている。著者らは、論理的分析とブール論理分類器における実証的評価を通じて、体系的な欠陥を特定し、関数の55％以上でこうした問題が発生することを示しており、SHAPや類似ツールの信頼性を損なっている。

ABSTRACT

Explainable artificial intelligence (XAI) aims to help human decision-makers in understanding complex machine learning (ML) models. One of the hallmarks of XAI are measures of relative feature importance, which are theoretically justified through the use of Shapley values. This paper builds on recent work and offers a simple argument for why Shapley values can provide misleading measures of relative feature importance, by assigning more importance to features that are irrelevant for a prediction, and assigning less importance to features that are relevant for a prediction. The significance of these results is that they effectively challenge the many proposed uses of measures of relative feature importance in a fast-growing range of high-stakes application domains.

研究の動機と目的

• 説明可能なAI（XAI）における相対的特徴量重要度の測定としてのシャープレー値の信頼性に挑戦すること。
• 機械学習モデルにおける特徴量の帰属に応用した際のシャープレー値に内在する体系的欠陥を特定し、形式的に証明すること。
• こうした欠陥が、関連のない特徴量を関連のある特徴量よりも重要視する誤った説明を生じさせることを示すこと。
• SHAPのようなシャープレー値に依存する既存のXAIツールが、厳密または信頼できる説明を保証できないことを主張すること。
• 論理的（非）関連性を尊重する、代替的で形式的根拠を持つ特徴量重要度の指標の開発を促すこと。

提案手法

• 著者らは論理的帰納に基づいて特徴量（非）関連性を形式化し、予測の説明に必要な特徴量としての関連性を定義する。
• 決定的分解可能ブール回路の文脈でシャープレー値を分析することで、正確な計算と近似値との比較を可能にする。
• 5つの特徴量以下のすべてのブール関数を体系的に列挙し、シャープレーに基づく帰属における欠陥の頻度と性質を評価する。
• シャープレー値が真の特徴量関連性を反映しない7つの異なる問題（I1–I7）を同定し、関連のある特徴量に0の値を割り当てる、関連のない特徴量に非ゼロ値を割り当てるなど、その内容を明らかにする。
• 正確なシャープレー値とSHAPが生成する値を比較し、実証的結果においてほとんど相関がないことが判明する。
• 根本的な欠陥は、すべての特徴量の部分集合を有効な連合とみなす点にあり、説明可能性の文脈では、論理的に整合性があるか関連のある部分集合のみを考慮すべきであると主張する。

実験結果

リサーチクエスチョン

• RQ1 シャープレー値は機械学習モデルにおける相対的特徴量重要度を信頼できるものとして測定できるか？
• RQ2 シャープレー値は、関連のない特徴量を関連のある特徴量よりも優遇するなど、体系的に重要度を誤って割り当てるか？
• RQ3 XAIで使用される実用的ブール分類器において、こうした欠陥はどの程度の頻度で発生するか？
• RQ4 近似手法（SHAPなど）は正確なシャープレー値とどの程度一致するのか？また、内在的な欠陥があるにもかかわらず信頼できるのか？
• RQ5 論理的根拠に基づいたシャープレー値の代替指標を、特徴量（非）関連性を尊重する形で考案できるか？

主な発見

• シャープレー値は、予測の論理的非関連性を持つ特徴量に対しても非ゼロの重要度を割り当てるため、誤った説明を生じさせる。
• 逆に、予測に不可欠な特徴量に対し、シャープレー値は0の重要度を割り当て、重要な特徴量が見過ごされることがある。
• I1、I2、I6の問題は、すべてのブール関数の55％以上で発生しており、特にI1（関連のある特徴量に0を割り当てる）は99％以上のケースで発生する。
• 正確なシャープレー値とSHAPが生成する近似値との間にほとんど相関がないことが判明し、SHAPの結果が理論的基盤と信頼できる整合性を持たないことが示された。
• 根本的な欠陥は、シャープレー値がすべての特徴量部分集合を有効な連合とみなす点にあり、説明可能性の文脈では、論理的に整合性があるか関連のある部分集合のみを考慮すべきである。
• 著者らは、シャープレー値に基づくあらゆるXAIツールは、正しい特徴量帰属を保証できないため、高リスク分野では本質的に信頼できないと結論づける。