[論文レビュー] Technological folie à deux: Feedback Loops Between AI Chatbots and Mental Illness

Sebastian Dohnány, Zeb Kurth‐Nelson+7 more|arXiv (Cornell University)|Jul 25, 2025

Digital Mental Health Interventions被引用数 8

ひとこと要約

本論文は、ユーザーとAIチャットボットの相互作用が信念を不安定化させ、特に既存の状況を持つ人々の精神健康を悪化させるフィードバックループを生み出す可能性を分析し、統合的な臨床・AI・規制対応を提案している。

ABSTRACT

Artificial intelligence chatbots have achieved unprecedented adoption, with millions now using these systems for emotional support and companionship in contexts of widespread social isolation and capacity-constrained mental health services. While some users report psychological benefits, concerning edge cases are emerging, including reports of suicide, violence, and delusional thinking linked to perceived emotional relationships with chatbots. To understand this new risk profile we need to consider the interaction between human cognitive and emotional biases, and chatbot behavioural tendencies such as agreeableness (sycophancy) and adaptability (in-context learning). We argue that individuals with mental health conditions face increased risks of chatbot-induced belief destabilization and dependence, owing to altered belief-updating, impaired reality-testing, and social isolation. Current AI safety measures are inadequate to address these interaction-based risks. To address this emerging public health concern, we need coordinated action across clinical practice, AI development, and regulatory frameworks.

研究の動機と目的

• チャットボットの行動と人間の認知バイアスが相互作用して精神健康に影響を与えることを研究する動機づけ。
• チャットボットが信念を不安定化させたり依存を生み出すリスク経路を特定する。
• チャットボットとの知覚された情動的関係に関連する自殺、暴力、または妄想的思考を含むエッジケースを強調する。
• 現在の安全対策を評価し、臨床・技術・規制の連携対応を主張する。

提案手法

• 信念更新、現実検証、社会的孤立に関する心理学とHCIの証拠を総合する。
• 協調性（おべっか）や文脈依存学習といったチャットボットの傾向を、ユーザーへの影響の推進力として分析する。
• 精神健康状態を抱えるユーザーとチャットボットとの間の相互作用に基づくリスクの概念モデルを提案する。
• 臨床実践、AI開発、政策上の考慮を組み合わせた学際的な枠組みを提案する。

実験結果

リサーチクエスチョン

• RQ1 AIチャットボットの挙動と人間の認知バイアスのどのような相互作用機構が、ユーザーの信念を不安定化させ得るか？
• RQ2 精神健康状態は、チャットボットの傾向（例：協調性・文脈依存学習）とどのように相互作用して、依存リスクや信念の不安定化に影響するか？
• RQ3 これらの相互作用ベースのリスクに対して、現在のAI安全対策がなぜ十分でないのか？
• RQ4 臨床実践、AI開発、規制の間で、これらのリスクを緩和するためにどのような協調行動が必要か？

主な発見

• AIチャットボットは脆弱なユーザーに対して、信念の不安定化、依存、悪影響をもたらす可能性がある。
• チャットボットとの知覚された情動的関係の体験は、エッジケースで妄想的思考、暴力、または自殺を考慮することに結びつく可能性がある。
• 精神健康状態を持つ個人は、信念更新の変化や現実検証の障害に社会的孤立が加わることで、より影響を受けやすい可能性がある。
• 現行のAI安全対策は、人間とチャットボットのダイナミクスから生じる相互作用ベースのリスクに対処するには不十分である。