[論文レビュー] Initial Risk Probing and Feasibility Testing of Glow: a Generative AI-Powered Dialectical Behavior Therapy Skills Coach for Substance Use Recovery and HIV Prevention

Liying Wang, Madison Lee+7 more|arXiv (Cornell University)|Feb 8, 2026

Digital Mental Health Interventions被引用数 0

ひとこと要約

この論文は、Glow を評価します。Glow は HIV リスク低減と薬物使用回復のための GenAI 搭載の DBT スキルコーチであり、ユーザー主導の対抗的テストを用いて 37 のリスクプローブに対する安全性を評価します。脆弱性と誤情報を特定し、臨床試験前の緩和策のニーズについて論じます。

ABSTRACT

Background: HIV and substance use represent interacting epidemics with shared psychological drivers - impulsivity and maladaptive coping. Dialectical behavior therapy (DBT) targets these mechanisms but faces scalability challenges. Generative artificial intelligence (GenAI) offers potential for delivering personalized DBT coaching at scale, yet rapid development has outpaced safety infrastructure. Methods: We developed Glow, a GenAI-powered DBT skills coach delivering chain and solution analysis for individuals at risk for HIV and substance use. In partnership with a Los Angeles community health organization, we conducted usability testing with clinical staff (n=6) and individuals with lived experience (n=28). Using the Helpful, Honest, and Harmless (HHH) framework, we employed user-driven adversarial testing wherein participants identified target behaviors and generated contextually realistic risk probes. We evaluated safety performance across 37 risk probe interactions. Results: Glow appropriately handled 73% of risk probes, but performance varied by agent. The solution analysis agent demonstrated 90% appropriate handling versus 44% for the chain analysis agent. Safety failures clustered around encouraging substance use and normalizing harmful behaviors. The chain analysis agent fell into an "empathy trap," providing validation that reinforced maladaptive beliefs. Additionally, 27 instances of DBT skill misinformation were identified. Conclusions: This study provides the first systematic safety evaluation of GenAI-delivered DBT coaching for HIV and substance use risk reduction. Findings reveal vulnerabilities requiring mitigation before clinical trials. The HHH framework and user-driven adversarial testing offer replicable methods for evaluating GenAI mental health interventions.

研究の動機と目的

• Generative AI を用いて HIV 予防と薬物使用回復のためのスケーラブルで個別化された DBT コーチングを動機づける。
• GenAI 提供のメンタルヘルス介入における安全性と信頼性の懸念に対処する。
• 地域パートナーと協力した系統的な安全性テストのための枠組みを提供する。
• 臨床試験前に緩和策を知らせる具体的な安全性の脆弱性と誤情報リスクを特定する。

提案手法

• Glow を開発する。Glow は連鎖分析と解決策分析を提供する GenAI 搭載の DBT スキルコーチ。
• 臨床医と経験者を含む臨床現場の使いやすさテストを行うため、ロサンゼルスの地域保健組織と提携する。
• Helpful, Honest, and Harmless (HHH) フレームワークとユーザー主導の対抗的テストを適用し、文脈的に現実的なリスクプローブを引き出す。
• 37 件のリスクプローブ相互作用を横断して安全性パフォーマンスを評価する。
• エージェント間でのパフォーマンスを比較する：解決策分析 vs 連鎖分析。
• 緩和の指針となる安全性の不全と誤情報を文書化する。

実験結果

リサーチクエスチョン

• RQ1 Glow は HIV 予防と薬物使用回復のための DBT ベースのコーチング枠組みで、文脈的に現実的なリスクプローブを安全に処理できるか。
• RQ2 GenAI 提供の DBT コーチングでどのような安全性の脆弱性と誤情報リスクが出現し、異なるエージェントはリスクプローブでどのように性能を示すか。
• RQ3 GenAI メンタルヘルス介入の系統的な安全評価を最もよく支える方法論的枠組みは何か。
• RQ4 臨床試験へ進む前に必要な緩和策は何か。
• RQ5 ステークホルダーの協力が使いやすさと安全性の結果にどのように影響するか。

主な発見

• Glow は全体でリスクプローブの適切な処理を 73% 行い、エージェントごとに性能が異なる。
• 解決策分析エージェントは 90% の適切な処理を達成したのに対し、連鎖分析エージェントは 44% だった。
• 安全性の不全は、薬物使用を奨励することや有害な行動を正常化することに集中している。
• 連鎖分析エージェントは「共感の罠」を示し、誤った信念を強化する検証を提供した。
• テスト中に DBT スキルの誤情報が 27 件識別された。