[論文レビュー] What I Cannot Predict, I Do Not Understand: A Human-Centered Evaluation Framework for Explainability Methods

Julien Colin, Thomas Fel+2 more|arXiv (Cornell University)|Dec 6, 2021

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿では、3つの実世界のシナリオ（バイアス検出、新しい戦略の発見、障害事例の分析）における大規模な心理物理学実験（n=1,150）を用いて、人間中心の説明可能性手法の評価フレームワークを提案する。SmoothGradが最も有用な属性付け手法であることが判明した一方で、忠実性メトリクスは人間の有用性を予測できず、説明可能性手法が「どこ」ではなく「何」の特徴が意思決定を駆動しているかを伝える必要があることが示唆される。

ABSTRACT

A multitude of explainability methods and associated fidelity performance metrics have been proposed to help better understand how modern AI systems make decisions. However, much of the current work has remained theoretical -- without much consideration for the human end-user. In particular, it is not yet known (1) how useful current explainability methods are in practice for more real-world scenarios and (2) how well associated performance metrics accurately predict how much knowledge individual explanations contribute to a human end-user trying to understand the inner-workings of the system. To fill this gap, we conducted psychophysics experiments at scale to evaluate the ability of human participants to leverage representative attribution methods for understanding the behavior of different image classifiers representing three real-world scenarios: identifying bias in an AI system, characterizing the visual strategy it uses for tasks that are too difficult for an untrained non-expert human observer as well as understanding its failure cases. Our results demonstrate that the degree to which individual attribution methods help human participants better understand an AI system varied widely across these scenarios. This suggests a critical need for the field to move past quantitative improvements of current attribution methods towards the development of complementary approaches that provide qualitatively different sources of information to human end-users.

研究の動機と目的

• 人間ユーザーの視点から、実世界のシナリオにおける説明可能性手法の実用的有用性を評価すること。
• 現在の忠実性メトリクスが、エンドユーザーに対する属性付け手法の有用性を正確に反映しているかどうかを特定すること。
• 知覚的類似性または説明の複雑さが、人間のモデル意思決定の理解度に与える影響を調査すること。
• 属性付け手法が、複雑さやバイアスのある意思決定文脈において、人間のモデル行動理解を効果的に支援できるかどうかを特定すること。
• 理論的メトリクスを越えて、実用的使いやすさに焦点を当てた人間中心の評価フレームワークを提言すること。

提案手法

• バイアス検出、新しい戦略の発見、障害事例の理解の3つの実世界のAI意思決定シナリオにおいて、1,150名の参加者を対象に大規模な心理物理学実験を実施した。
• 予測および意思決定タスクにおける人間のパフォーマンスを、説明の有用性の主な指標とした。
• クラス間における診断画像領域間の知覚的類似性スコアを算出し、知覚的曖昧さが説明の有用性に与える影響を評価した。
• 複数の属性付け手法（例：Grad-CAM、SmoothGrad、Integrated Gradients）を、忠実性メトリクスと人間によるアノテーションによる有用性スコアの両方で評価した。
• 忠実性メトリクス、説明の複雑さ、知覚的類似性、実際の人間パフォーマンスの相関関係を分析し、説明の失敗の予測要因を同定した。
• すべてのデータとコードを公開し、人間中心の評価フレームワークの再現性および今後の採用を促進した。

実験結果

リサーチクエスチョン

• RQ1 実世界のシナリオにおいて、既存の属性付け手法は人間ユーザーがAIモデル意思決定を理解するのをどの程度支援するか？
• RQ2 現在の忠実性メトリクスは、人間ユーザーに対する説明可能性手法の実用的有用性を信頼性高く予測できるか？
• RQ3 診断画像領域間の知覚的類似性が、人間の理解を支援する属性マップの有効性にどの程度影響を与えるか？
• RQ4 説明の複雑さは、人間が説明を活用してモデル意思決定を理解するパフォーマンスを予測できるか？
• RQ5 説明の「何」（意味的コンテンツ）と「どこ」（空間的位置）の役割は、人間の解釈可能性にどのように寄与するか？

主な発見

• SmoothGradは、テストされたシナリオ全体で最も有用な属性付け手法であり、人間の理解を支援する点で他の手法を上回った。
• 忠実性メトリクスと人間による有用性推定値との間に有意な相関は認められず、実用的有用性を予測するには不適切であることが示された。
• 診断画像領域間の知覚的類似性スコアは、忠実性や複雑さのメトリクスよりも、説明の失敗をよりよく予測する要因であった。
• 説明の複雑さと人間パフォーマンスとの相関は弱く、説明の有用性の主な要因ではないことが示唆された。
• 異なるクラス間で診断的特徴が知覚的に類似している場合（例：ネコとイヌの品種）、忠実性や複雑さに関係なく、属性付け手法は人間の理解を支援できなかった。
• 結果から、現在の属性付け手法は、意思決定を駆動している「何」の特徴を伝えるのではなく、「どこ」の特徴しか伝えられていないため、人間の理解を支援する能力に根本的な限界がある可能性があると示唆される。