[論文レビュー] Conversational AI Powered by Large Language Models Amplifies False Memories in Witness Interviews

Samantha Chan, Pat Pataranutaporn+4 more|arXiv (Cornell University)|Aug 8, 2024

Interpreting and Communication in Healthcare被引用数 5

ひとこと要約

生成型チャットボットとの対話は、調査または事前台本チャットボットと比較して、即時の誤った記憶と自信を有意に増加させ、1週間後も効果が持続する。

ABSTRACT

This study examines the impact of AI on human false memories -- recollections of events that did not occur or deviate from actual occurrences. It explores false memory induction through suggestive questioning in Human-AI interactions, simulating crime witness interviews. Four conditions were tested: control, survey-based, pre-scripted chatbot, and generative chatbot using a large language model (LLM). Participants (N=200) watched a crime video, then interacted with their assigned AI interviewer or survey, answering questions including five misleading ones. False memories were assessed immediately and after one week. Results show the generative chatbot condition significantly increased false memory formation, inducing over 3 times more immediate false memories than the control and 1.7 times more than the survey method. 36.4% of users' responses to the generative chatbot were misled through the interaction. After one week, the number of false memories induced by generative chatbots remained constant. However, confidence in these false memories remained higher than the control after one week. Moderating factors were explored: users who were less familiar with chatbots but more familiar with AI technology, and more interested in crime investigations, were more susceptible to false memories. These findings highlight the potential risks of using advanced AI in sensitive contexts, like police interviews, emphasizing the need for ethical considerations.

研究の動機と目的

• AIを介した質問が、目撃者風の状況における誤記憶の形成にどのように影響するかを調査する。
• 4つの対話方法（コントロール、調査ベース、事前スクリプト化されたチャットボット、生成型チャットボット）で誤記憶を比較する。
• 誘発された誤記憶の即時と1週間の持続性および自信を検討する。
• AI誘発の誤記憶に影響を与える個人要因を特定する。

提案手法

• 4条件に無作為割り付けされた200名の参加者を対象とする2段階実験。
• 参加者は犯罪ビデオを視聴し、その後、5問の誤誘導を含む25問に回答する。
• Phase 1 は、コントロール、調査ベース、事前スクリプト化チャットボット、生成型チャットボットのいずれかの条件を使用する。
• Phase 2 は1週間後、記憶と自信を再評価して持続性を測定する。
• 誤記憶は即時および1週間の想起で定量化される。自信は誤記憶と正記憶の両方について測定される。

Figure 1: Manipulation of Eyewitness Memory by AI: This figure illustrates the process of AI-induced false memories in three stages. It begins with a person witnessing a crime scene involving a knife, then shows an AI system introducing misinformation by asking about a non-existent gun, and conclude

実験結果

リサーチクエスチョン

• RQ1 異なるAI対話モードは、目撃者風のインタビュー設定における誤記憶の形成にどのように影響するか？
• RQ2 生成型チャットボットは、調査ベースのチャットボットや事前スクリプト化されたチャットボットよりも誤記憶を誘発するのに効果的か？
• RQ3 AI誘発の誤記憶への感受性に影響を与えるユーザー要因には何があるか？
• RQ4 AIによって誘発された誤記憶は1週間持続するか、時間とともに自信はどう変化するか？

主な発見

• 生成型チャットボットは、調査ベースおよび事前スクリプト化チャットボット条件よりも即時の誤記憶を多く誘発した（平均値：コントロール 0.54、調査 1.08、事前スクリプト化 1.34、生成型 1.82）。
• 生成型チャットボット条件の回答の36.4%が即座に誤誘導された。
• すべての介入は、コントロールと比較して即時の誤記憶と自信を増加させ、生成型チャットボットが誤記憶における最高の自信を生んだ。
• 1週間後、生成型チャットボットの誤記憶はおおむね一定であった（即時 36.4% 対 1週間 36.8%）、コントロールと調査では誤記憶が増加したのとは対照的。
• モデレーター：チャットボットへの馴染みが低く、AI技術への馴染みが高い、さらに犯罪調査への関心が高いことが、AI誘発の誤記憶への感受性を高めた。
• 生成型チャットボットによって誘発された誤記憶は、コントロールおよび事前スクリプト条件より長期的な自信が高かった。

Figure 2: Experimental Design for Studying AI-Induced False Memories: This figure outlines a two-phase study on AI-induced false memories. In Phase 1, participants watch a CCTV crime video, complete emotional assessments and filler tasks, and are randomly assigned to one of four conditions: control,