[논문 리뷰] Assessing Risks of Large Language Models in Mental Health Support: A Framework for Automated Clinical AI Red Teaming

Ian Steenstra, Paola Pedrelli외 3명|arXiv (Cornell University)|2026. 02. 23.

Digital Mental Health Interventions인용 수 0

한 줄 요약

논문은 Automated Clinical AI Red Teaming을 통해 다중 에이전트 시뮬레이션과 시뮬레이션된 환자 및 임상 위험 온톨로지를 이용하여 AI 기반 심리치료의 안전성 및 질을 평가하고, AUD에서 six AI agents를 대상으로 테스트한다.

ABSTRACT

Large Language Models (LLMs) are increasingly utilized for mental health support; however, current safety benchmarks often fail to detect the complex, longitudinal risks inherent in therapeutic dialogue. We introduce an evaluation framework that pairs AI psychotherapists with simulated patient agents equipped with dynamic cognitive-affective models and assesses therapy session simulations against a comprehensive quality of care and risk ontology. We apply this framework to a high-impact test case, Alcohol Use Disorder, evaluating six AI agents (including ChatGPT, Gemini, and Character AI) against a clinically-validated cohort of 15 patient personas representing diverse clinical phenotypes. Our large-scale simulation (N=369 sessions) reveals critical safety gaps in the use of AI for mental health support. We identify specific iatrogenic risks, including the validation of patient delusions ("AI Psychosis") and failure to de-escalate suicide risk. Finally, we validate an interactive data visualization dashboard with diverse stakeholders, including AI engineers and red teamers, mental health professionals, and policy experts (N=9), demonstrating that this framework effectively enables stakeholders to audit the "black box" of AI psychotherapy. These findings underscore the critical safety risks of AI-provided mental health support and the necessity of simulation-based clinical red teaming before deployment.

연구 동기 및 목표

• AI 심리치료를 위한 포괄적인 품질 관리 및 위험 온톨로지를 개발한다.
• 동적 인지-정서 시뮬레이션 환자를 가진 다중 에이전트 시뮬레이션 프레임워크를 만든다.
• 영향력이 큰 정신건강 영역(AUD)에서 다수의 AI 에이전트를 평가한다.
• 의료적 부작용 및 위기 관리 실패와 같은 새로운 안전 위험을 식별한다.
• 다양한 이해관계자를 지원하는 인터랙티브 대시보드의 타당성을 검증한다.

제안 방법

• AI 심리치료를 위한 품질 관리 및 위험 온톨로지를 도입한다.
• 동적 인지-정서 모델로 구동되는 시뮬레이션 환자를 갖춘 다중 에이전트 시뮬레이션 프레임워크를 운영한다.
• 369세션을 사용하여 6개의 AI 에이전트(포함: ChatGPT, Gemini, and Character.AI)를 대상으로 대규모 안전 감사를 수행한다.
• 15명의 환자 페르소나를 사용한 음주 장애 동기 부여 면담에 프레임워크를 적용한다.
• 사전 세션, 세션 중, 세션 후, 세션 간 단계에 걸친 장기적 결과를 모니터링한다.
• 이해관계자(N=9)와 상호작용형 데이터 시각화 대시보드의 타당성을 검증한다.

Figure 1 . The Four-Stage Cycle for Operationalizing the Ontology.

실험 결과

연구 질문

• RQ1 자동화된 레드-팀이 장기 세션에 걸쳐 AI 심리치료의 안전성과 질의 차이를 감지할 수 있는가?
• RQ2 시뮬레이션 AUD 치료에서 나타나는 의학적 부작용 위험(예: AI 정신병, 자살 위험 관리 미흡) 은 무엇인가?
• RQ3 다양한 이해관계자(엔지니어, 임상의, 정책 입안자)가 AI 심리치료를 감사하기 위해 프레임워크의 온톨로지와 대시보드의 효과는 어떠한가?
• RQ4 경고 신호와 부작용은 시간이 지남에 따라 AI 주도 치료 개입과 어떤 관계가 있는가?

주요 결과

• 대규모 감사(N=369 세션)에서 AI 정신병과 자살 위험 감소 실패 등 안전에 대한 결정적 간극과 위험을 식별했다.
• 다양한 심리적 구성 요소와 세션 수준의 결과를 다수의 세션에 걸쳐 추적하여 위험 및 질 저하를 밝혀낸다.
• 품질 관리 온톨로지는 환자 진행 상황, 치료적 동맹, 치료 충실도를 안전과 연결하는 통합 평가를 제공한다.
• AI 엔지니어, 레드 팀원, 임상의, 정책 전문가(N=9)와 함께 AI 심리치료 프로세스를 감사하기 위한 인터랙티브 대시보드의 타당성을 검증했다.
• 이 접근 방식은 AI 기반 정신건강 지원을 배치하기 전에 시뮬레이션 기반 임상 레드 팀링의 필요성을 입증한다.

Figure 2 . High-Level Evaluation Framework Overview.