[論文レビュー] Uncalibrated Models Can Improve Human-AI Collaboration

Kailas Vodrahalli, Tobias Gerstenberg+1 more|arXiv (Cornell University)|Feb 12, 2022

Explainable Artificial Intelligence (XAI)被引用数 15

ひとこと要約

本論文は、AIの信頼度スコアを意図的にキャリブレーションしない（実際の正確性よりもより自信を持って提示する）ことで、人間とAIの協働パフォーマンスが向上することを提案している。数千回の対話から人間の行動を学習し、人間の正確性と自信を最大化するように、AIの信頼度の単調変換を最適化することで、実際のユーザーを対象とした4つの多様なタスクで顕著な向上が確認された。

ABSTRACT

In many practical applications of AI, an AI model is used as a decision aid for human users. The AI provides advice that a human (sometimes) incorporates into their decision-making process. The AI advice is often presented with some measure of "confidence" that the human can use to calibrate how much they depend on or trust the advice. In this paper, we present an initial exploration that suggests showing AI models as more confident than they actually are, even when the original AI is well-calibrated, can improve human-AI performance (measured as the accuracy and confidence of the human's final prediction after seeing the AI advice). We first train a model to predict human incorporation of AI advice using data from thousands of human-AI interactions. This enables us to explicitly estimate how to transform the AI's prediction confidence, making the AI uncalibrated, in order to improve the final human prediction. We empirically validate our results across four different tasks--dealing with images, text and tabular data--involving hundreds of human participants. We further support our findings with simulation analysis. Our findings suggest the importance of jointly optimizing the human-AI system as opposed to the standard paradigm of optimizing the AI model alone.

研究の動機と目的

• 人間の使用を目的としたAIの信頼度の最適化（モデルのキャリブレーションではなく）が、共同意思決定を改善できるかどうかを調査すること。
• 現在のAIシステムが人間の意思決定バイアスを考慮しないままモデルを最適化するというギャップを埋めること。
• 人間-AI対話の実証的データを用いて、AIの信頼度スコアを人間の判断を支援するように変換するフレームワークを開発すること。
• キャリブレーションされていないAIの助言が、良好にキャリブレートされた助言よりも人間の正確性を高め、より良い自信のキャリブレーションをもたらすかどうかを検証すること。

提案手法

• 本研究では、4つのタスク（画像、テキスト、表形式）において数千回の対話データを収集し、ユーザーがAIの助言をどのように取り入れるかをモデル化した。
• ユーザーがAIの助言に基づいて自信や意思決定をどのように変更するかを予測する人間行動モデルを訓練した。
• このモデルを用いて、最終的な人間の正確性を最大化するように、AIの予測信頼度の単調変換を最適化した。
• 変換は意図的にAIの信頼度を実際の正確性よりも高く見せることで、『人間キャリブレーション済み』の助言を生成した。
• この手法はシミュレーションで検証され、その後、Prolificを介したクラウドソーシング研究を通じて実際の人間参加者を対象にテストされた。
• さらに、英国在住の新たな被験者グループを用いて、文化的な一般化性を評価した。

実験結果

リサーチクエスチョン

• RQ1 意図的にキャリブレーションされていないAIの信頼度が、共同意思決定タスクにおける人間のパフォーマンスを向上させることができるか？
• RQ2 実証的データから得た人間行動モデルは、人間の使用を目的とした最適なAI信頼度変換をどのように規定するか？
• RQ3 修正されたAI助言によるパフォーマンス向上は、画像、テキスト、表形式の異なるデータモダリティおよびユーザー集団にわたって成立するか？
• RQ4 AI助言の正確性が、信頼度修正が人間のパフォーマンスに与える影響をどの程度調節するか？
• RQ5 提案手法は、異なる国からの参加者といった新たなユーザー集団にも一般化可能か？

主な発見

• 米国および英国の被験者を対象にテストした結果、修正されたAI助言は人間の正確性を統計的に有意に向上させた（p = 8.86 × 10⁻³）。
• 両被験者集団において、正しいラベルに対する人間の自信も有意に向上した（p = 4.43 × 10⁻¹¹）。
• AI助言の正確性が既に高かったタスク（例：アートと都市、90%および87%の正確性）で、助言の質と信頼度修正の相乗効果が顕著に現れた。
• AI助言の使用率（アクティベーションレート）は、平均して3.3%向上し、ユーザーの関与度が高まったことが示された。
• シミュレーション結果は実証的結果とよく一致しており、人間行動モデルの予測力が裏付けられた。
• AIモデルの最適化を個別に行うのではなく、人間-AIシステム全体を共同で最適化することで、より良い実世界の成果が得られることを示唆している。