[論文レビュー] Beyond Simulations: What 20,000 Real Conversations Reveal About Mental Health AI Safety

Caitlin A. Stamatis, Jonah Meyerhoff+4 more|arXiv (Cornell University)|Jan 14, 2026

Mental Health via Writing被引用数 0

ひとこと要約

論文は汎用大規模言語モデルと専用のメンタルヘルスAIの安全性ベンチマークを再現テストし、2万件超の実 conversationsの生態系監査を実施。実世界の安全性はテストセットの結果より良好であることが多いと示され、デプロイに関連する安全保証の必要性を浮き彫りにしている。

ABSTRACT

Large language models (LLMs) are increasingly used for mental health support, yet existing safety evaluations rely primarily on small, simulation-based test sets that have an unknown relationship to the linguistic distribution of real usage. In this study, we present replications of four published safety test sets targeting suicide risk assessment, harmful content generation, refusal robustness, and adversarial jailbreaks for a leading frontier generic AI model alongside an AI purpose built for mental health support. We then propose and conduct an ecological audit on over 20,000 real-world user conversations with the purpose-built AI designed with layered suicide and non-suicidal self-injury (NSSI) safeguards to compare test set performance to real world performance. While the purpose-built AI was significantly less likely than general-purpose LLMs to produce enabling or harmful content across suicide/NSSI (.4-11.27% vs 29.0-54.4%), eating disorder (8.4% vs 54.0%), and substance use (9.9% vs 45.0%) benchmark prompts, test set failure rates for suicide/NSSI were far higher than in real-world deployment. Clinician review of flagged conversations from the ecological audit identified zero cases of suicide risk that failed to receive crisis resources. Across all 20,000 conversations, three mentions of NSSI risk (.015%) did not trigger a crisis intervention; among sessions flagged by the LLM judge, this corresponds to an end-to-end system false negative rate of .38%, providing a lower bound on real-world safety failures. These findings support a shift toward continuous, deployment-relevant safety assurance for AI mental-health systems rather than limited set benchmark certification.

研究の動機と目的

• 自殺リスク、有害コンテンツ、拒否の頑健性、敵対的ジャailbreakに関する既存の安全性テストセットが、メンタルヘルスAIの実世界の使用とどの程度一致しているかを評価する。
• 汎用のLLMと専用のメンタルヘルス支援AIの安全性指標を横断して性能を比較する。
• 実ライブ会話における有害コンテンツの実態発生率と危機介入の有効性を定量化する。
• ベンチマーク試験の失敗と実世界の安全性アウトカムとのギャップを特定し、安全保証実践に反映させる。

提案手法

• 先端の一般AIモデルと専用のメンタルヘルスAIに対して、4つの公開安全性テストセットを再現する。
• レイヤー化された自殺/NSSI対策を備えた専用AIで、20,000件を超える実世界のユーザー会話の生態系監査を実施する。
• 自殺/NSSI、摂食障害、薬物使用のプロンプトに対するテストセットの失敗率と実世界のデプロイ結果を比較する。
• 臨床医がフラグ付きの会話をレビューし、危機介入の有効性とエンドツーエンドの安全性を評価する。
• エンドツーエンドのシステム偽陽性率を実世界の安全性の下限として算出する。

実験結果

リサーチクエスチョン

• RQ1 安全性テストセットは、メンタルヘルスAIシステムに適用した場合、実世界リスクを過大評価するのか過小評価するのか。
• RQ2 専用のメンタルヘルスAIは、汎用のLMMと比較して安全性ベンチマークでどう機能するのか。
• RQ3 メンタルヘルスAIとの会話における有害コンテンツの実世界の開始/誘発率はどれほどで、危機リソースはどれくらい頻繁に成功裏に Trigger されるのか。
• RQ4 臨床医のレビューは、実世界の利用における危機資源の展開と安全性のギャップについて何を示しているのか。

主な発見

• 専用のメンタルヘルスAIは、汎用のLMMに比べ、自殺/NSSI、摂食障害、薬物使用のプロンプトにおいて、有害化または有害内容を生み出す可能性が有意に低かった（0.4-11.27% 対 29.0-54.4%、8.4% 対 54.0%、9.9% 対 45.0%）。
• 自殺/NSSIについてのテストセットの失敗率は、実世界のデプロイよりはるかに高かった。
• 臨床医のレビューで、危機リソースを受けずにフラグされた会話における自殺リスクの事例はゼロだった。
• 2万件の会話全体で、NSSIリスクの言及が3件あった（0.015%）が危機介入を発動せず；LLM審査でフラグされたセッションのうち、エンドツーエンドのシステム偽陰性率は0.38%に相当。
• 本研究の結果は、基準認証だけに頼るのではなく、継続的でデプロイ関連の評価へと安全保証を移行することを支持する。