[論文レビュー] Why is plausibility surprisingly problematic as an XAI criterion?

Weina Jin, Xiaoxiao Li+1 more|arXiv (Cornell University)|Mar 30, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

この論文は、XAIにおける説明の妥当性最適化が、モデルの理解可能性、透明性、信頼性といったコアな目標と根本的に不整合であると主張する。説明の妥当性正則化は、AIの説明を人間の説明にあまりに密接に模倣させることで、本質的な説明的有用性を損なうと同時に、モデルに対する信頼不足や過剰信頼のリスクを生じかねない。代わりに、妥当性は人間の解釈を中間的なプロキシとしてのみ機能すべきであり、目的そのものではない。

ABSTRACT

Explainable artificial intelligence (XAI) is motivated by the problem of making AI predictions understandable, transparent, and responsible, as AI becomes increasingly impactful in society and high-stakes domains. The evaluation and optimization criteria of XAI are gatekeepers for XAI algorithms to achieve their expected goals and should withstand rigorous inspection. To improve the scientific rigor of XAI, we conduct a critical examination of a common XAI criterion: plausibility. Plausibility assesses how convincing the AI explanation is to humans, and is usually quantified by metrics of feature localization or feature correlation. Our examination shows that plausibility is invalid to measure explainability, and human explanations are not the ground truth for XAI, because doing so ignores the necessary assumptions underpinning an explanation. Our examination further reveals the consequences of using plausibility as an XAI criterion, including increasing misleading explanations that manipulate users, deteriorating users' trust in the AI system, undermining human autonomy, being unable to achieve complementary human-AI task performance, and abandoning other possible approaches of enhancing understandability. Due to the invalidity of measurements and the unethical issues, this position paper argues that the community should stop using plausibility as a criterion for the evaluation and optimization of XAI algorithms. We also delineate new research approaches to improve XAI in trustworthiness, understandability, and utility to users, including complementary human-AI task performance.

研究の動機と目的

• XAI技術の評価における妥当性が有効な最終的目標であるという広く共有された仮定に挑戦すること。
• 妥当性を最適化することで、モデルの理解可能性、透明性、信頼性が損なわれるという事実を示すこと。
• 妥当性は人間の解釈を中間的な計算的プロキシとして再定義すべきであり、主な評価目的ではなく、単なる中間的手段であるべきだと主張すること。
• AIの説明タスクとオブジェクト検出タスクを区別し、XAI固有の評価指標の必要性を強調すること。
• XAI研究の方向転換を呼びかけること。人間の推論目標と説明可能性の有用性に基づいた、ユーザー中心の評価に移行すべきである。

提案手法

• XAIにおける妥当性を主な評価指標として用いることの概念的・実務的欠陥を分析すること。
• 妥当性と真実性、忠実性を対比し、妥当性がモデルの正しさではなく、人間の事前知識や判断に依存することを強調すること。
• XAIの評価が、意思決定の検証、バイアス検出、知識発見といった人間の推論タスクの有用性を優先すべきだと提言すること。
• AIモデルのタスク（例：分類）とXAIのタスク（例：説明生成）を区別し、それぞれに別個の評価指標を導入すべきだと提言すること。
• 内在的に解釈可能なモデルを用いた制御された実験デザインを提案し、説明可能性のパフォーマンスをモデルのパフォーマンスから分離して評価すること。
• 妥当性を人間の解釈を模倣する計算的プロキシとして位置づけ、XAIの有用性最適化においては有用であるが、単独の目的としては不適切であると位置づけること。

実験結果

リサーチクエスチョン

• RQ1 なぜ妥当性は広く使われているにもかかわらず、XAI技術の評価基準として問題視されるのか？
• RQ2 妥当性を最適化することで、モデルの透明性と信頼性がどのように損なわれるのか？
• RQ3 人間とAIの相互作用において、妥当な説明を正しいモデル意思決定と同一視することで生じる結果は何か？
• RQ4 XAIの評価を、妥当性ではなく説明可能性固有の有用性を優先する形に再構築するにはどうすればよいか？
• RQ5 AIモデルのパフォーマンス評価とXAIの説明品質評価の違いは何か？

主な発見

• XAIを妥当性に最適化することで、説明が人間の説明にあまりに密接に模倣され、より深いモデル理解や透明性の向上を妨げる。
• 妥当性に基づく最適化は、妥当性とモデル意思決定の正しさが分離されることで、AIモデルに対する信頼不足や過剰信頼のリスクを生じかねない。
• 妥当性は真実性や忠実性の信頼できるプロキシではない。妥当性はモデルの正確性ではなく、人間の合理性を測る指標である。
• 妥当性は、意思決定の検証やバイアス検出などのXAIの有用性最適化において、人間の解釈を模倣する中間的指標として有用である。
• AIモデルの評価に一般的に使われるロケーション性能のような指標をXAIシステムの評価に用いることは、XAIのパフォーマンスを誤解させ、モデルのタスクと説明のタスクを混同する。
• 本論文は、人間の推論目標と説明可能性の有用性に整合するXAI固有の評価目的へのパラダイムシフトを呼びかける。妥当性に類似した外見だけを重視するのではなく、人間の理解を支援する本質的な有用性を重視すべきである。