[论文解读] "AI enhances our performance, I have no doubt this one will do the same": The Placebo effect is robust to negative descriptions of AI

Agnes Mercedes Kloft, Robin Welsch+2 more|arXiv (Cornell University)|Sep 28, 2023

Pain Management and Placebo EffectNeuroscience被引用 3

一句话总结

本研究表明，AI的安慰剂效应极为稳固：即使明确告知参与者虚假AI会损害表现，当他们相信该AI正在运行时，其表现仍更佳，信息处理速度也更快。通过贝叶斯认知建模，作者发现驱动行为改善的是期望，而非言语描述，揭示了在人机交互研究中普遍存在的AI表现偏倚，该偏倚削弱了传统期望控制方法的有效性。

ABSTRACT

Heightened AI expectations facilitate performance in human-AI interactions through placebo effects. While lowering expectations to control for placebo effects is advisable, overly negative expectations could induce nocebo effects. In a letter discrimination task, we informed participants that an AI would either increase or decrease their performance by adapting the interface, but in reality, no AI was present in any condition. A Bayesian analysis showed that participants had high expectations and performed descriptively better irrespective of the AI description when a sham-AI was present. Using cognitive modeling, we could trace this advantage back to participants gathering more information. A replication study verified that negative AI descriptions do not alter expectations, suggesting that performance expectations with AI are biased and robust to negative verbal descriptions. We discuss the impact of user expectations on AI interactions and evaluation and provide a behavioral placebo marker for human-AI interaction

研究动机与目标

• 调查对AI的负面言语描述是否能抑制人机交互中的安慰剂效应。
• 考察用户期望如何影响在虚假AI系统存在下的决策与表现。
• 确定通过言语框架是否可在AI交互研究中诱发反安慰剂效应（负面期望）。
• 通过比较行为、主观及认知建模结果，评估安慰剂效应在AI中的稳健性。
• 提出缓解人机交互评估中期望偏倚的策略。

提出的方法

• 通过66名参与者的实验研究，采用字母辨别任务测量在虚假AI条件下的决策表现。
• 使用漂移扩散模型（DDM）的贝叶斯认知建模，估计漂移率（ν）和非决策时间（τ）的变化，作为信息处理速度与反应风格的指标。
• 通过将AI描述为正面或负面来操纵其影响，以评估其对期望与表现的作用。
• 在95名参与者的在线研究中重复实验，以验证AI表现偏倚的稳健性。
• 采用安慰剂对照设计，使用非功能性AI界面，以隔离期望效应与实际系统功能之间的差异。
• 结合主观表现评分与行为数据，在多个分析层次上交叉验证研究发现。

Figure 1 . Schematic representation of the drift-diffusion process of decision-making with an increased drift-rate $\nu$ and a decreased non-decision time $\tau$ , for the sham-AI active (sAI active) condition as compared to the sham-AI inactive (sAI inactive) condition. When using a sham AI, partic

实验结果

研究问题

• RQ1 对AI系统的负面言语描述是否能降低表现期望并引发反安慰剂效应？
• RQ2 当期望被明确降低时，是否仍能在行为层面上观察到虚假AI的安慰剂效应？
• RQ3 在安慰剂条件下，认知处理参数（如漂移率、非决策时间）在多大程度上发生变化？
• RQ4 无论描述如何，AI表现偏倚——即用户无论描述如何都预期表现提升——在不同研究形式中是否依然稳健？
• RQ5 未来人机交互研究中应如何缓解AI评估中的期望偏倚？

主要发现

• 参与者表现出显著的行为安慰剂效应，当相信虚假AI正在运行时，信息收集速度更快（漂移率ν增加）且反应更迅速（非决策时间τ减少），无论言语描述如何。
• 尽管被告知AI会损害表现，参与者仍维持对AI有效性的高期望，表明AI表现偏倚极为稳固。
• 贝叶斯认知模型显示，安慰剂效应源于信息积累速度加快，而非反应谨慎性或阈值的变化。
• 在95名参与者的复现研究中，即使在负面描述框架下，AI表现偏倚依然持续存在。
• 研究未发现反安慰剂效应的证据，因为负面描述未能降低表现期望或损害行为表现。
• 主观表现评分显示中等效应量（dz = 0.53），而行为效应较小（dz = 0.12），表明期望对感知的影响大于对行为的影响，尽管两者均受到干扰。

Figure 2 . Trial sequence during the letter discrimination task. The duration of the ISI followed a Gaussian distribution ( M = 1000 ms, SD = 600 ms). Key responses (left or right arrow) were logged during the presentation of the mask.