[논문 리뷰] "AI enhances our performance, I have no doubt this one will do the same": The Placebo effect is robust to negative descriptions of AI

Agnes Mercedes Kloft, Robin Welsch외 2명|arXiv (Cornell University)|2023. 09. 28.

Pain Management and Placebo EffectNeuroscience인용 수 3

한 줄 요약

이 연구는 인공지능(AI)에서 유도된 진 placebo 효과가 매우 강력하다는 것을 입증한다. 참가자들은 위약 AI가 작동 중이라고 믿었을 때조차도 성능이 향상되고 정보 처리 속도가 빨라졌으며, 특히 AI가 성능을 떨어뜨릴 것이라고 명시적으로 알렸음에도 불구하고 그러한 효과가 유지되었다. 베이지안 인지 모델링을 통해 저자들은 행동 향상의 원인이 언어적 기술이 아닌 기대감임을 보여주었으며, 이는 기존의 기대 조절 방법이 HCI 연구에서 성립하지 못할 정도로 광범위하게 존재하는 AI 성능 편향을 드러낸다.

ABSTRACT

Heightened AI expectations facilitate performance in human-AI interactions through placebo effects. While lowering expectations to control for placebo effects is advisable, overly negative expectations could induce nocebo effects. In a letter discrimination task, we informed participants that an AI would either increase or decrease their performance by adapting the interface, but in reality, no AI was present in any condition. A Bayesian analysis showed that participants had high expectations and performed descriptively better irrespective of the AI description when a sham-AI was present. Using cognitive modeling, we could trace this advantage back to participants gathering more information. A replication study verified that negative AI descriptions do not alter expectations, suggesting that performance expectations with AI are biased and robust to negative verbal descriptions. We discuss the impact of user expectations on AI interactions and evaluation and provide a behavioral placebo marker for human-AI interaction

연구 동기 및 목표

• AI에 대한 부정적인 언어적 기술이 인간-AI 상호작용에서 위약 효과를 억제할 수 있는지 조사하는 것.
• 사용자의 기대가 위약 AI 시스템이 존재할 때 의사결정 및 성능에 미치는 영향을 분석하는 것.
• AI 상호작용 연구에서 언어적 프레임을 통해 부정적인 기대(노세보 효과)를 유도할 수 있는지 확인하는 것.
• 행동적, 주관적, 인지 모델링 결과를 비교하여 AI 위약 효과의 강건성을 평가하는 것.
• 향후 HCI 평가에서 기대 편향을 완화하기 위한 전략을 제안하는 것.

제안 방법

• 66명의 참가자를 대상으로 위약-AI 조건 하에서 의사결정을 측정하기 위해 문자 식별 작업을 수행한 실험적 연구를 실시하였다.
• 정보 처리 속도와 반응 스타일의 지표로 드리프트 속도(ν)와 비결정 시간(τ)을 추정하기 위해 드리프트-디퓨전 모델(DDM)의 베이지안 인지 모델링을 사용하였다.
• 기대감과 성능에 미치는 영향을 평가하기 위해 AI에 대한 언어적 기술을 긍정 또는 부정으로 조작하였다.
• AI 성능 편향의 강건성을 검증하기 위해 온라인 연구에서 95명의 참가자를 대상으로 결과를 재현하였다.
• 기능하지 않는 AI 인터페이스를 사용한 위약 대조 설계를 통해 실제 시스템 기능과 기대의 영향을 분리하였다.
• 다중 수준의 분석에서 결과를 통합하기 위해 주관적 성과 평가와 행동 데이터를 병행 분석하였다.

Figure 1 . Schematic representation of the drift-diffusion process of decision-making with an increased drift-rate $\nu$ and a decreased non-decision time $\tau$ , for the sham-AI active (sAI active) condition as compared to the sham-AI inactive (sAI inactive) condition. When using a sham AI, partic

실험 결과

연구 질문

• RQ1 AI 시스템에 대한 부정적인 언어적 기술이 성과 기대를 낮추고 노세보 효과를 유도하는가?
• RQ2 기대가 명시적으로 낮춰졌음에도 불구하고, 위약 AI에서 행동 수준에서 위약 효과를 관찰할 수 있는가?
• RQ3 위약 조건 하에서 인지 처리 파rameter(예: 드리프트 속도, 비결정 시간)는 어느 정도 변화하는가?
• RQ4 사용자가 설명과 무관하게 성능 향상 기대를 갖는 AI 성능 편향이 다양한 연구 형식에서 강건한가?
• RQ5 향후 HCI 연구에서 AI 평가의 기대 편향을 어떻게 완화할 수 있는가?

주요 결과

• 참가자들은 위약 AI가 작동 중이라고 믿었을 때, 언어적 기술과 관계없이 정보를 더 빨리 수집하고(드리프트 속도 ν 증가) 더 빨리 반응하였다(비결정 시간 τ 감소), 이는 행동적 위약 효과가 뚜렷하게 나타났음을 시사한다.
• AI가 성능을 떨어뜨릴 것이라고 명시적으로 알렸음에도 불구하고 참가자들은 AI의 효과성에 대해 높은 기대를 유지하였으며, 이는 강력한 AI 성능 편향이 있음을 시사한다.
• 베이지안 인지 모델링 결과, 위약 효과는 반응 경계나 경계 경계 조정의 변화가 아니라 더 빠른 정보 누적에 기인함을 확인하였다.
• 95명의 참가자를 대상으로 한 재현 연구에서 부정적 프레임이 적용된 상황에서도 AI 성능 편향이 지속되었음을 확인하였다.
• 부정적 기술이 성과 기대나 행동 성능을 저하시키지 못했기 때문에 노세보 효과에 대한 증거는 발견되지 않았다.
• 주관적 성과 평가에서는 중간 효과 크기(dz = 0.53)를 보였고, 행동적 효과는 작았으며(dz = 0.12), 이는 기대가 행동보다 인식에 더 큰 영향을 미치지만, 둘 다 영향을 받는다는 것을 시사한다.

Figure 2 . Trial sequence during the letter discrimination task. The duration of the ISI followed a Gaussian distribution ( M = 1000 ms, SD = 600 ms). Key responses (left or right arrow) were logged during the presentation of the mask.