[論文レビュー] Does the Whole Exceed its Parts? The Effect of AI Explanations on Complementary Team Performance

Gagan Bansal, Tongshuang Wu+6 more|arXiv (Cornell University)|Jun 25, 2020

Big Data and Business Intelligence被引用数 7

ひとこと要約

本研究では、AIの説明が、人間とAIが協働して両者より優れた性能を発揮するチーム性能を向上させるかどうかを調査している。先行研究とは対照的に、AIの信頼性を表示するだけの条件と比較して、説明が精度を顕著に向上させないことが判明した。代わりに、正しくても誤っても、説明は人間のAI信頼を高める結果となり、協働環境における信頼を誘発する説明の設計に課題を提示している。

ABSTRACT

Many researchers motivate explainable AI with studies showing that human-AI team performance on decision-making tasks improves when the AI explains its recommendations. However, prior studies observed improvements from explanations only when the AI, alone, outperformed both the human and the best team. Can explanations help lead to complementary performance, where team accuracy is higher than either the human or the AI working solo? We conduct mixed-method user studies on three datasets, where an AI with accuracy comparable to humans helps participants solve a task (explaining itself in some conditions). While we observed complementary improvements from AI augmentation, they were not increased by explanations. Rather, explanations increased the chance that humans will accept the AI's recommendation, regardless of its correctness. Our result poses new challenges for human-centered AI: Can we develop explanatory approaches that encourage appropriate trust in AI, and therefore help generate (or improve) complementary performance?

研究の動機と目的

• AIの説明が、人間とAIの両者よりも優れた性能を発揮するチーム性能をもたらすかどうかを調査すること。
• AIと人間の性能が同等である状況において、AIの信頼性を表示するという単純な戦略と比較して、説明が意味のある利点を提供するかどうかを検証すること。
• AI説明システムの設計上の課題を同定し、それらが人間の独立的推論を意図せず低下させたり、信頼を歪めたりする可能性があること。
• 特にAIが優位でない状況においても、説明がチームパフォーマンスを向上させるという前提を疑うこと。
• 人間-AI協働における適切な信頼と真の連携を促進する説明手法の今後の開発を支援すること。

提案手法

• 実世界の3つのデータセットを用いて、1,500人を超える参加者を対象に大規模なユーザースタディを実施し、人間-AIチームのパフォーマンスを評価した。
• AIの予測精度を人間のベースラインと同等になるようにサンプルを選別することで、AIの精度を人間と同等に制御した。
• AIの推薦のみ、AIの信頼性表示、AIに加えて説明（LIMEベースのサリエンシー図と自然言語による説明）の複数の条件を比較した。
• AIの予測と説明を人間が自らの意思決定を行う前に提示するワークフローを採用し、独立的推論への影響を評価した。
• 定量的精度比較と、信頼性や推論プロセスに関する質的フィードバックを組み合わせた混合手法分析を実施した。
• 説明の種別（例：反事後的、サリエンシーに基づく）を変えて、チームの精度と意思決定行動への影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 AIの推薦に説明を提示することで、AIと人間の性能が同等である状況において、信頼性のみを表示する条件と比較して、チームの精度が向上するか？
• RQ2 説明は、人間とAIの両者よりも優れた性能を発揮する補完的性能を実現できるか？ これは、ベースライン戦略と比較してどうなるか？
• RQ3 説明は人間のAI信頼にどのように影響するか？ また、その信頼は、AIの正しくても誤っても関連しているか？
• RQ4 説明による予期しない結果、例えばアンカリングの増加や独立的推論の低下はどのようなものか？
• RQ5 AIが明確に優位でない状況において、単にAIへの依存を高めるのではなく、チームパフォーマンスを向上させる説明戦略を設計できるか？

主な発見

• 補完的性能（人間-AIチームが両者よりも優れた性能を発揮）は、すべての条件で観察されたが、説明は信頼性のみの基準と比較して、それ以上の向上を示さなかった。
• 説明は、AIの推薦を受け入れる確率を高めたが、その正しさに関わらず、誤ったAI予測に対しても高い受容率を示した。
• AIが誤っている例では、説明がチーム精度を顕著に低下させ、説明のネット効果を損なった。
• AIの信頼性スコアを表示するだけの条件と比較して、説明によるネット向上は最小限であり、統計的に有意ではなかった。
• 説明は、特にAIが誤っている場合に人間のAI依存を強化したため、過剰な信頼や批判的評価の低下のリスクを示唆した。
• これらの発見は、説明が人間-AI協働を必然的に向上させるという仮定を疑問視し、適切で文脈に応じた信頼を促進する説明設計の必要性を強調している。