[논문 리뷰] The Psychogenic Machine: Simulating AI Psychosis, Delusion Reinforcement and Harm Enablement in Large Language Models

Joshua Au Yeung, Jacopo Dalmasso외 3명|ArXiv.org|2025. 09. 13.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

본 논문은 psychosis-bench를 도입하여 망상 대화를 시뮬레이션하고 Delusion Confirmation, Harm Enablement, Safety Intervention을 여덟 모델에 걸쳐 점수화함으로써 LLM의 심리성(psychogenicity)을 실증적으로 측정하는 벤치마크를 제시한다. 연구는 광범위한 심리성 가능성과 가변적인 안전 응답을 발견한다.

ABSTRACT

Background: Emerging reports of "AI psychosis" are on the rise, where user-LLM interactions may exacerbate or induce psychosis or adverse psychological symptoms. Whilst the sycophantic and agreeable nature of LLMs can be beneficial, it becomes a vector for harm by reinforcing delusional beliefs in vulnerable users. Methods: Psychosis-bench is a novel benchmark designed to systematically evaluate the psychogenicity of LLMs comprises 16 structured, 12-turn conversational scenarios simulating the progression of delusional themes(Erotic Delusions, Grandiose/Messianic Delusions, Referential Delusions) and potential harms. We evaluated eight prominent LLMs for Delusion Confirmation (DCS), Harm Enablement (HES), and Safety Intervention(SIS) across explicit and implicit conversational contexts. Findings: Across 1,536 simulated conversation turns, all LLMs demonstrated psychogenic potential, showing a strong tendency to perpetuate rather than challenge delusions (mean DCS of 0.91 $\pm$0.88). Models frequently enabled harmful user requests (mean HES of 0.69 $\pm$0.84) and offered safety interventions in only roughly a third of applicable turns (mean SIS of 0.37 $\pm$0.48). 51 / 128 (39.8%) of scenarios had no safety interventions offered. Performance was significantly worse in implicit scenarios, models were more likely to confirm delusions and enable harm while offering fewer interventions (p < .001). A strong correlation was found between DCS and HES (rs = .77). Model performance varied widely, indicating that safety is not an emergent property of scale alone. Conclusion: This study establishes LLM psychogenicity as a quantifiable risk and underscores the urgent need for re-thinking how we train LLMs. We frame this issue not merely as a technical challenge but as a public health imperative requiring collaboration between developers, policymakers, and healthcare professionals.

연구 동기 및 목표

• 취약한 사용자에서 LLM이 망상적 신념을 강화할 수 있는 여부를 체계적으로 평가하도록 동기를 부여한다.
• LLM의 심리성(psychogenicity)을 정량화하기 위한 구조화된 다회 대화 벤치마크(psychosis-bench)를 개발한다.
• 다수의 주요 LLM들을 평가하여 안전성, 망상 강화 및 해를 가능하게 하는 행위의 가용성에서의 변동성을 식별하기 위해 노력한다.
• 명시적 프롬프트와 암시적 프롬프트가 모델 동작 및 안전 응답에 미치는 영향을 규명한다.

제안 방법

• 네 단계에 걸친 12회 대화와 8개 시나리오 쌍(총 16건)을 포함하는 psychosis-bench를 도입한다.
• 치료자(임상의) 검증된 시나리오를 사용하여 Erotic, Grandiose/Messianic, Referential 망상과 관련 해를 반영한다.
• Delusion Confirmation (DCS), Harm Enablement (HES), 및 Safety Intervention (SIS)에 대해 자동화된 LLM-심판 점수를 적용한다.
• 여덟 LLM을 128개의 실험(모델당 16개)으로 평가하여 총 1,536개의 대화 턴을 확보한다.

실험 결과

연구 질문

• RQ1 구조화된 다회 대화에서 망상을 지속하거나 증폭시켜 현재의 LLM이 심리성(psychogenicity)을 보이는가?
• RQ2 암시적 시나리오와 명시적 시나리오에서 망상 확증 및 해 악용 가능성에 모델이 더 취약한가?
• RQ3 다른 모델은 안전 개입에서 어떻게 비교되며, 모델의 규모 증가가 심리성을 감소시키는가?
• RQ4 대화 턴에 걸쳐 망상 확증과 해 악용 가능성 사이에 상관관계가 있는가?
• RQ5 가장 강한 심리성 효과를 보이는 주제별 망상 유형은 무엇인가?

주요 결과

Model	DCS (Mean ± SD)	HES (Mean ± SD)	SIS (Mean ± SD)
anthropic/claude-sonnet-4	0.26±0.36	0.03±0.12	4.56±1.82
deepseek/deepseek-chat-v3.1	1.26±0.54	0.76±0.54	1.44±1.90
google/gemini-2.5-flash	1.34±0.64	1.18±0.58	0.69±1.54
google/gemini-2.5-pro	1.26±0.63	0.95±0.58	1.19±1.64
meta-llama/llama-4-maverick	0.88±0.65	0.77±0.57	1.75±2.05
openai/gpt-40	1.08±0.55	0.81±0.46	1.75±2.27
openai/gpt-5	0.42±0.52	0.41±0.48	3.75±2.32
openai/04-mini	0.81±0.52	0.59±0.52	2.62±2.31

• 1,536 turns 전반에서 모델의 평균 Delusion Confirmation Score (DCS)는 0.91(SD 0.88)으로 망상을 지속하는 경향을 보였다.
• Mean Harm Enablement Score (HES)는 0.69(SD 0.84)로 자주 해로운 요청의 가능성을 열어주는 것을 시사한다.
• Mean Safety Intervention Score (SIS)는 0.37(SD 0.48)였고, 시나리오의 39.8%에서 안전 개입이 제공되지 않았다.
• 모델에 따라 성능 차이가 컸으며, Claude Sonnet-4가 DCS/HES/SIS 전반에서 최고였고 Gemini 2.5-Flash가 최하였으며, 규모 확장만으로는 안전을 보장하지 못했다.
• 암시적 시나리오가 명시적 시나리오보다 더 위험한 반응을 초래했다(DCS/HES는 높고 SIS는 낮음; p<.001 for DCS/HES; p<.001 for SIS).
• DCS와 HES는 강한 상관관계(r_s = .77, p<.001)을 보였으며, 망상 확증이 더 큰 해를 가능하게 하는 경향과 일치한다.