[論文レビュー] If Only We Had Better Counterfactual Explanations: Five Key Deficits to Rectify in the Evaluation of Counterfactual XAI Techniques

Mark T. Keane, Eoin M. Kenny+2 more|arXiv (Cornell University)|Feb 26, 2021

Explainable Artificial Intelligence (XAI)被引用数 8

ひとこと要約

本論文は、100の手法を対象とした調査に基づき、XAIにおける反事実的説明の評価における5つの重要な欠陥を特定し、心理的および計算的妥当性の欠如を是正するための標準化されたベンチマークロードマップを提案する。心理的妥当性の検証が行われた手法はわずか21%にとどまることを強調している。著者らは、反事実的XAI研究における科学的進展を可能にするために、評価の厳密性を高めるよう提言している。

ABSTRACT

In recent years, there has been an explosion of AI research on counterfactual explanations as a solution to the problem of eXplainable AI (XAI). These explanations seem to offer technical, psychological and legal benefits over other explanation techniques. We survey 100 distinct counterfactual explanation methods reported in the literature. This survey addresses the extent to which these methods have been adequately evaluated, both psychologically and computationally, and quantifies the shortfalls occurring. For instance, only 21% of these methods have been user tested. Five key deficits in the evaluation of these methods are detailed and a roadmap, with standardised benchmark evaluations, is proposed to resolve the issues arising; issues, that currently effectively block scientific progress in this field.

研究の動機と目的

• 反事実的XAI手法の評価が心理的および計算的次元において現在どのように行われているかを評価すること。
• 文献における反事実的説明の妥当性評価における体系的な欠陥を特定すること。
• 評価の欠陥を是正し、反事実的XAIにおける科学的進展を促進するための標準化されたベンチマークフレームワークを提案すること。
• 多くの手法でユーザーテストが行われていないこと、特に調査された手法のうち21%しか心理的評価を受けていないことの強調。

提案手法

• 文献に発表された100の異なる反事実的説明手法を対象とした体系的サーベイ。
• 心理的および計算的次元に分類して評価手法の整合性を評価する。
• 5つの繰り返し現れる欠陥の特定：心理的妥当性の欠如、計算的耐性の不足、公平性のチェックの不在、反事実的生成における多様性の欠如、ベンチマーク基準の不十分さ。
• 心理的・計算的・公平性の次元を統合する標準化されたベンチマークロードマップの提案。
• メソッドの透明性を高めるために、ユーザー研究と再現可能な評価プロトコルの統合を強調。
• 単なる可能性の有無を越えて、反事実的説明の質と信頼性を評価するための構造化されたフレームワークの使用。

実験結果

リサーチクエスチョン

• RQ1 反事実的XAI手法は、どれくらいの割合でユーザー調査や心理的テストを経て評価されているか？
• RQ2 計算的および心理的次元において、反事実的説明の評価における最も一般的な方法論的欠陥は何か？
• RQ3 現在の評価手法は、反事実的生成における公平性、多様性、耐性をどのように確保できていないか？
• RQ4 反事実的XAI研究における再現性と科学的厳密性を向上させるために、どのような標準化されたベンチマークと評価プロトコルが必要か？
• RQ5 同定された反事実的説明研究における欠陥を是正するための統合的評価フレームワークは、どのように設計できるか？

主な発見

• 調査された100の反事実的説明手法のうち、わずか21%しかユーザーテストを経ていない。これは心理的妥当性の欠如が顕著であることを示している。
• 多数の手法が、公平性、耐性、反事実的生成における多様性について体系的な評価を欠いている。
• 多くの手法が、反事実的説明が現実世界の文脈で意味的・実行可能であることを保証できていない。
• 標準化されたベンチマークの不在が、手法間の再現性と比較可能性を阻害している。
• 提案されたロードマップは、5つの主要な欠陥を是正するための統一された評価プロトコルの必要性を強調している。
• 本論文は、現在の評価手法が、反事実的説明の信頼できる展開や信頼性を支えるには不十分であることを強調している。