[論文レビュー] "AI enhances our performance, I have no doubt this one will do the same": The Placebo effect is robust to negative descriptions of AI

Agnes Mercedes Kloft, Robin Welsch+2 more|arXiv (Cornell University)|Sep 28, 2023

Pain Management and Placebo EffectNeuroscience被引用数 3

ひとこと要約

本研究では、AIのプラセボ効果が極めて強固であることを示している。参加者が偽のAIが作動していると信じていた場合でさえ、AIが性能を低下させると明言された状況でも、参加者はより良いパフォーマンスを示し、情報処理をより速く行った。ベイジアン認知モデリングを用いて、行動の向上は語りかけの内容ではなく期待値によって駆動されていることが示された。これは、HCI研究における伝統的な期待値のコントロールを損なう、広範にわたるAIパフォーマンスバイアスを明らかにしている。

ABSTRACT

Heightened AI expectations facilitate performance in human-AI interactions through placebo effects. While lowering expectations to control for placebo effects is advisable, overly negative expectations could induce nocebo effects. In a letter discrimination task, we informed participants that an AI would either increase or decrease their performance by adapting the interface, but in reality, no AI was present in any condition. A Bayesian analysis showed that participants had high expectations and performed descriptively better irrespective of the AI description when a sham-AI was present. Using cognitive modeling, we could trace this advantage back to participants gathering more information. A replication study verified that negative AI descriptions do not alter expectations, suggesting that performance expectations with AI are biased and robust to negative verbal descriptions. We discuss the impact of user expectations on AI interactions and evaluation and provide a behavioral placebo marker for human-AI interaction

研究の動機と目的

• AIの否定的語りかけが、人間-AIインタラクションにおけるプラセボ効果を抑制できるかどうかを調査すること。
• ユーザーの期待値が、偽のAIシステムが存在する状況での意思決定およびパフォーマンスにどのように影響するかを検討すること。
• 語りかけのフレーミングによって、AIインタラクション研究においてノセボ効果（否定的期待）を誘発できるかどうかを特定すること。
• 行動的、主観的、認知モデリングの結果を比較することで、AIにおけるプラセボ効果の頑健性を評価すること。
• HCI分野におけるAI技術の評価における期待バイアスを軽減するための戦略を提言すること。

提案手法

• 66名の参加者を対象に、偽のAI状態下での意思決定を測定するための文字識別タスクを用いた実験的研究を実施した。
• 情報処理速度と反応スタイルの指標として、ドリフト・ディファージョン・モデル（DDM）のベイジアン認知モデリングを用い、ドリフトレート（ν）と非意思決定時間（τ）の変化を推定した。
• AIの語りかけを肯定的または否定的に操作することで、期待値とパフォーマンスへの影響を評価した。
• 95名の参加者を対象としたオンライン研究を実施し、AIパフォーマンスバイアスの頑健性を検証した。
• 機能しないAIインターフェースを用いたプラセボコントロール設計を採用し、実際のシステム機能とは独立して期待値の影響を分離した。
• 行動データと主観的パフォーマンス評価を併用することで、複数の分析レベルから結果を三角測定した。

Figure 1 . Schematic representation of the drift-diffusion process of decision-making with an increased drift-rate $\nu$ and a decreased non-decision time $\tau$ , for the sham-AI active (sAI active) condition as compared to the sham-AI inactive (sAI inactive) condition. When using a sham AI, partic

実験結果

リサーチクエスチョン

• RQ1 AIシステムに対する否定的語りかけは、パフォーマンス期待を低下させ、ノセボ効果を引き起こすか？
• RQ2 期待値が明示的に低下させられた状況でも、偽のAIからのプラセボ効果が行動レベルで観察されるか？
• RQ3 プラセボ状態下で、認知処理パラメータ（例：ドリフトレート、非意思決定時間）はどの程度変化するか？
• RQ4 ユーザーが語りかけ内容に関わらず改善を期待するというAIパフォーマンスバイアスは、異なる研究形式においても頑健か？
• RQ5 今後のHCI研究におけるAI評価における期待バイアスは、どのように軽減できるか？

主な発見

• 参加者は、偽のAIが作動していると信じていた場合、語りかけ内容に関わらず、情報処理が速くなった（ドリフトレートνが増加）し、反応が速くなった（非意思決定時間τが短縮）という顕著な行動的プラセボ効果を示した。
• AIが性能を低下させると明言されたにもかかわらず、参加者はAIの効果性を高いと期待し続けた。これは、AIパフォーマンスバイアスが極めて強固であることを示している。
• ベイジアン認知モデルの分析から、プラセボ効果は情報の蓄積速度の向上によるものであり、反応の慎重さや閾値の変化によるものではなかった。
• 95名の参加者を対象とした再現研究により、否定的フレーミング下でもAIパフォーマンスバイアスが持続することが確認された。
• 否定的語りかけがパフォーマンス期待を低下させたり行動を損なったりしなかったことから、ノセボ効果の証拠は得られなかった。
• 主観的パフォーマンス評価では中程度の効果量（dz = 0.53）が観察されたが、行動的効果は小さかった（dz = 0.12）。これは、期待値が行動よりも認識に強く影響するが、両者ともに影響を受けることを示唆している。

Figure 2 . Trial sequence during the letter discrimination task. The duration of the ISI followed a Gaussian distribution ( M = 1000 ms, SD = 600 ms). Key responses (left or right arrow) were logged during the presentation of the mask.