[論文レビュー] Do Humans Trust Advice More if it Comes from AI? An Analysis of Human-AI Interactions

Kailas Vodrahalli, Daneshjou, Roxana+2 more|arXiv (Cornell University)|Jul 14, 2021

Explainable Artificial Intelligence (XAI)参考文献 20被引用数 11

ひとこと要約

本論文は、人間がAIの助言を使うかどうか、そしてどのようにそれを統合するかを説明する二段階の「活性化・統合」モデルを提案する。AIと人間のどちらのソースから助言が来ているかは、活性化に影響を与えるが、統合には影響しない。信頼は主にパフォーマンスの認識に起因し、ソースの種別に依存しない。このモデルは、皮膚科医を含む多様なタスクと集団にわたり有効である。

ABSTRACT

In decision support applications of AI, the AI algorithm's output is framed as a suggestion to a human user. The user may ignore this advice or take it into consideration to modify their decision. With the increasing prevalence of such human-AI interactions, it is important to understand how users react to AI advice. In this paper, we recruited over 1100 crowdworkers to characterize how humans use AI suggestions relative to equivalent suggestions from a group of peer humans across several experimental settings. We find that participants' beliefs about how human versus AI performance on a given task affects whether they heed the advice. When participants do heed the advice, they use it similarly for human and AI suggestions. Based on these results, we propose a two-stage, "activation-integration" model for human behavior and use it to characterize the factors that affect human-AI interactions.

研究の動機と目的

• 人間が意思決定の文脈においてAIの助言と人間の助言をどのように使うかを理解すること。
• 個人がAIソースまたは人間ソースからの助言を「活性化」（使用するか）または「統合」（組み込むか）するかどうかを左右する要因を特定すること。
• 一般の人々および医療専門家を含む多様なタスクと集団にわたり、人間-AI相互作用の二段階モデルを検証すること。
• 人種的背景、タスク固有要因、信念に基づく要因が助言の活用に与える影響を定量化すること。
• 収集したデータを公開して広範な研究利用を促進し、AIシステムにおける操作可能な信頼の倫理的含意を検討すること。

提案手法

• 複数の実験的状況において、AIと人間の同僚からの助言に対する人間の反応を比較するため、ジャッジ・アドバイザー・パラダイム（JAS）を採用した。
• 画像分類、皮肉の検出、表形式データの予測という3つのデータモダリティを用いた実験を設計し、1100人を超えるクラウドワーカーと37名の皮膚科医を対象とした。
• 二段階の「活性化・統合」モデルを提唱：第一段階で、個人は助言を使用するかどうかを決定する（活性化）；第二段階で、判断を更新する（統合）。
• 信頼度、一貫性、事前の信念、露出度などの予測子の係数を推定するために、ロジスティック回帰および線形回帰モデルを用いた。
• 米国、イギリス、アジアの異なる地理的地域と、現実世界の医療意思決定を含む多様なタスクタイプにおいて、モデルの妥当性を検証した。
• IRB承認を取得した医療タスクを含め、匿名化されたデータセットを収集・公開し、倫理的なデータ管理を確保した。

実験結果

リサーチクエスチョン

• RQ1 助言のソース（AI対人間）が、個人がそれを使用するかどうかに影響を与えるか？
• RQ2 使用を決定した後、個人はAIの助言を人間の助言とはどのように異なる形で統合するか？
• RQ3 信頼度、一貫性、または事前の信念といった要因は、助言の活性化または統合を予測できるか？
• RQ4 活性化・統合モデルは、異なるタスク、集団、データモダリティにわたって一般化可能か？
• RQ5 AI経験や臨床的熟練度は、現実世界の意思決定状況における助言の活用にどのように影響するか？

主な発見

• 参加者は、ソース（AIまたは人間）が能力があると信じるほど、助言を使用する傾向が高まるが、使用後における統合の仕方にはソースの種別が顕著に影響しない。
• 活性化段階（助言を使用するかどうか）は、AI対人間のパフォーマンスに関する事前の信念に影響を受ける。AIパフォーマンスに関する事前の信念の係数は負であるが有意でない（β = -0.283, p = 0.427）。
• 皮膚科医が対象の生検タスクにおいて、AIと人間の助言の両方が正答率を約67.6％から約74.0％まで向上させ、活性化率はそれぞれ29.7％と29.8％で、使用率に有意差は認められなかった。
• 統合段階は助言のソースによってほとんど影響を受けない。AI助言の反応変化における係数は-0.002（p = 0.427）であり、助言の統合方法に顕著な差がないことを示している。
• 反応の信頼度と助言との一貫性は、活性化の強力な予測子である。反応の信頼度は有意な負の影響を持つ（β = -0.531, p < 0.001）。
• 臨床経験年数は活性化に負の影響を及ぼす（β = -0.845, p = 0.048）ため、熟練度の高い臨床医は外部助言を使用する傾向が低いが、統合の仕方は経験年数にかかわらず類似している。