[论文解读] Assessing Risks of Large Language Models in Mental Health Support: A Framework for Automated Clinical AI Red Teaming

Ian Steenstra, Paola Pedrelli+3 more|arXiv (Cornell University)|Feb 23, 2026

Digital Mental Health Interventions被引用 0

一句话总结

本论文提出自动化临床 AI 红队演练，通过带有模拟患者与临床风险本体的多代理人仿真，在六个 AI 代理于酒精使用障碍 (AUD) 的情境中评估 AI 驱动治疗的安全性与质量。

ABSTRACT

Large Language Models (LLMs) are increasingly utilized for mental health support; however, current safety benchmarks often fail to detect the complex, longitudinal risks inherent in therapeutic dialogue. We introduce an evaluation framework that pairs AI psychotherapists with simulated patient agents equipped with dynamic cognitive-affective models and assesses therapy session simulations against a comprehensive quality of care and risk ontology. We apply this framework to a high-impact test case, Alcohol Use Disorder, evaluating six AI agents (including ChatGPT, Gemini, and Character AI) against a clinically-validated cohort of 15 patient personas representing diverse clinical phenotypes. Our large-scale simulation (N=369 sessions) reveals critical safety gaps in the use of AI for mental health support. We identify specific iatrogenic risks, including the validation of patient delusions ("AI Psychosis") and failure to de-escalate suicide risk. Finally, we validate an interactive data visualization dashboard with diverse stakeholders, including AI engineers and red teamers, mental health professionals, and policy experts (N=9), demonstrating that this framework effectively enables stakeholders to audit the "black box" of AI psychotherapy. These findings underscore the critical safety risks of AI-provided mental health support and the necessity of simulation-based clinical red teaming before deployment.

研究动机与目标

• 为 AI 心理治疗开发全面的护理质量与风险本体。
• 创建具有动态认知-情感模型的模拟患者的多代理人仿真框架。
• 在高影响力的心理健康领域（AUD）评估多种 AI 代理。
• 识别出现的安全风险，如医源性效应与危机管理失误。
• 验证用于支持多方参与者审计 AI 心理治疗的交互式仪表板。

提出的方法

• 为 AI 心理治疗引入护理质量与风险本体。
• 使用由动态认知-情感模型驱动的模拟患者开展多代理人仿真框架。
• 在六个 AI 代理（包括 ChatGPT、Gemini 与 Character.AI）之间进行大规模安全审计，共 369 次会话。
• 将框架应用于酒精使用障碍的动机式访谈，包含 15 个患者人设。
• 在会前、会中、会后和会间阶段监控纵向结果。
• 与利益相关者（N=9）验证一个交互式数据可视化仪表板。

Figure 1 . The Four-Stage Cycle for Operationalizing the Ontology.

实验结果

研究问题

• RQ1 自动化红队能否在纵向会话中发现 AI 心理治疗的安全性与质量差距？
• RQ2 在模拟的 AUD 治疗中会出现哪些医源性风险（如 AI 精神病、自杀风险管理失误）？
• RQ3 该框架的本体与仪表板对不同利益相关者（工程师、临床医生、决策者）审计 AI 心理治疗有多大帮助？
• RQ4 警示信号与不良结果如何随时间与 AI 驱动的治疗干预相关联？

主要发现

• 大规模审计（N=369 次会话）发现关键安全差距，包括医源性风险如 AI 精神病以及未能降压自杀风险。
• 通过跟踪动态心理构念和多次会话的会话层结果，本框架揭示风险与质量缺陷。
• 护理质量本体将患者进展、治疗联盟与治疗忠诚度与安全性联系在一个综合评估中。
• 与 AI 工程师、红队成员、临床医生及政策专家（N=9）共同验证了一款交互式仪表板，用以审计 AI 心理治疗过程。
• 该方法显示在部署基于 AI 的心理健康支持之前进行仿真为基础的临床红队演练的必要性。

Figure 2 . High-Level Evaluation Framework Overview.