[論文レビュー] Explainable AI is Dead, Long Live Explainable AI! Hypothesis-driven decision support

Tim Miller|arXiv (Cornell University)|Feb 24, 2023

Explainable Artificial Intelligence (XAI)被引用数 10

ひとこと要約

本論文は評価的AIを提唱する。仮説主導の意思決定支援フレームワークであり、推奨主導の説明可能AIから人間中心のエビデンスベースアプローチへ転換し、推定推論を支援しつつユーザーの統制を維持する。

ABSTRACT

In this paper, we argue for a paradigm shift from the current model of explainable artificial intelligence (XAI), which may be counter-productive to better human decision making. In early decision support systems, we assumed that we could give people recommendations and that they would consider them, and then follow them when required. However, research found that people often ignore recommendations because they do not trust them; or perhaps even worse, people follow them blindly, even when the recommendations are wrong. Explainable artificial intelligence mitigates this by helping people to understand how and why models give certain recommendations. However, recent research shows that people do not always engage with explainability tools enough to help improve decision making. The assumption that people will engage with recommendations and explanations has proven to be unfounded. We argue this is because we have failed to account for two things. First, recommendations (and their explanations) take control from human decision makers, limiting their agency. Second, giving recommendations and explanations does not align with the cognitive processes employed by people making decisions. This position paper proposes a new conceptual framework called Evaluative AI for explainable decision support. This is a machine-in-the-loop paradigm in which decision support tools provide evidence for and against decisions made by people, rather than provide recommendations to accept or reject. We argue that this mitigates issues of over- and under-reliance on decision support tools, and better leverages human expertise in decision making.

研究の動機と目的

• 推奨主導のXAIから仮説主導の評価的AIへの意思決定支援のためのパラダイム転換を促進する。
• 人間の意思決定を堅牢に支援する現在の説明可能性ツールの限界を指摘する。
• 人間の主体性を保ち信頼の較正を向上させる認知適合フレームワークを提案する。
• 評価的AIの研究課題と高リスクな意思決定への適用性を概説する。

提案手法

• 意思決定基準に照らして、既存のXAIパラダイム（推奨主導、対照的説明、内在的に解釈可能なモデル、認知的強制）を批判的にレビューする。
• 評価的AIフレームワークを演繹だけでなくアブダクティブ推論とsensemakingのデータ／フレーム理論に根ざす。
• 評価的AIの設計基準を二つ定義する：認知的意思決定プロセスを支援し、選択肢探索の統制感を改善する。
• 評価的AIが仮説の賛否を示すエビデンスを生成・整理し、トレードオフを支持する方法を説明する二部構成の概念的フレームワークを提示する。
• 仮説がどのように絞り込まれ、エビデンスが提示されるかを示す、皮膚がん病変診断の概略診断インターフェース例を提供する。

実験結果

リサーチクエスチョン

• RQ1 現実の意思決定における現在の推奨主導のXAIの限界は何か？
• RQ2 意思決定支援ツールは人間のアブダクティブ推論とsensemakingプロセスにどう整合するか？
• RQ3 仮説主導の評価的AIはどのようなもので、どのように選択肢・判断・トレードオフを支援するか？
• RQ4 評価的AIはどの文脈で意思決定に最も効果的か？

主な発見

• 推奨主導のXAIはしばしば過度/過少依存や説明への限られた関与を招く。
• アブダクティブ推論とsensemakingは、人々がAI出力と仮説を評価する際の中心である。
• 評価的AIはDSTの役割を推奨を出すことから、仮説の賛否を示すエビデンスを提供し、トレードオフを支持することへと移し、ユーザーの統制を向上させる。
• 評価的AIフレームワークは認知的意思決定プロセスにより適合し、固定化や自動化バイアスを緩和できる。
• 例示的な診断例は、評価的AIが複数のもっともらしい仮説を支持・反証エビデンスとともに提示できることを示している。