[논문 리뷰] Initial Risk Probing and Feasibility Testing of Glow: a Generative AI-Powered Dialectical Behavior Therapy Skills Coach for Substance Use Recovery and HIV Prevention

Liying Wang, Madison Lee외 7명|arXiv (Cornell University)|2026. 02. 08.

Digital Mental Health Interventions인용 수 0

한 줄 요약

이 논문은 HIV 위험 감소 및 물질 사용 회복을 위한 GenAI 기반 DBT 기술 코치인 Glow를 평가하고, 사용자 주도적 적대적 테스트를 통해 37개의 위험 프로브에서 안전성을 평가합니다. 약점과 오정보를 식별하고 임상 시험 전에 완화 필요성에 대해 논의합니다.

ABSTRACT

Background: HIV and substance use represent interacting epidemics with shared psychological drivers - impulsivity and maladaptive coping. Dialectical behavior therapy (DBT) targets these mechanisms but faces scalability challenges. Generative artificial intelligence (GenAI) offers potential for delivering personalized DBT coaching at scale, yet rapid development has outpaced safety infrastructure. Methods: We developed Glow, a GenAI-powered DBT skills coach delivering chain and solution analysis for individuals at risk for HIV and substance use. In partnership with a Los Angeles community health organization, we conducted usability testing with clinical staff (n=6) and individuals with lived experience (n=28). Using the Helpful, Honest, and Harmless (HHH) framework, we employed user-driven adversarial testing wherein participants identified target behaviors and generated contextually realistic risk probes. We evaluated safety performance across 37 risk probe interactions. Results: Glow appropriately handled 73% of risk probes, but performance varied by agent. The solution analysis agent demonstrated 90% appropriate handling versus 44% for the chain analysis agent. Safety failures clustered around encouraging substance use and normalizing harmful behaviors. The chain analysis agent fell into an "empathy trap," providing validation that reinforced maladaptive beliefs. Additionally, 27 instances of DBT skill misinformation were identified. Conclusions: This study provides the first systematic safety evaluation of GenAI-delivered DBT coaching for HIV and substance use risk reduction. Findings reveal vulnerabilities requiring mitigation before clinical trials. The HHH framework and user-driven adversarial testing offer replicable methods for evaluating GenAI mental health interventions.

연구 동기 및 목표

• 생성 AI를 활용한 HIV 예방 및 물질 사용 회복을 위한 확장 가능하고 개인화된 DBT 코칭을 촉진한다.
• GenAI로 제공되는 정신 건강 개입에서의 안전성 및 신뢰성 우려를 다룬다.
• 지역사회 파트너와의 협력을 통해 체계적 안전성 평가를 위한 프레임워크를 제공한다.
• 임상 시험 전에 완화 방안을 알리기 위한 구체적 안전 취약점 및 오정보 위험을 식별한다.

제안 방법

• Glow를 개발한다, 체인 분석과 해결책 분석을 제공하는 GenAI 기반 DBT 기술 코치.
• 실무자와 체험자( lived experience)와의 사용성 테스트를 위해 로스앤젤레스의 지역사회 보건 기관과 협력하여 임상의와 체험자의 사용성 테스트를 수행한다.
• 도움, 정직, 해로운 여부(HHH) 프레임워크와 사용자 주도적 적대적 테스트를 적용하여 맥락상 현실적인 위험 프로브를 이끌어낸다.
• 37개의 위험 프로브 상호 작용에서 안전성 수행을 평가한다.
• 에이전트 간 성능 비교: 해결책 분석 vs 체인 분석.
• 완화 방향을 제시하기 위한 안전 실패 및 오정보를 문서화한다.

실험 결과

연구 질문

• RQ1 Glow가 HIV 예방 및 물질 사용 회복을 위한 DBT 기반 코칭 프레임워크에서 맥락상 현실적인 위험 프로브를 안전하게 처리할 수 있는가?
• RQ2 GenAI로 제공되는 DBT 코칭에서 어떤 안전 취약점과 오정보 위험이 발생하며, 서로 다른 에이전트가 위험 프로브에서 어떻게 수행하는가?
• RQ3 GenAI 정신 건강 개입의 체계적 안전 평가를 가장 잘 지원하는 방법론적 프레임워크는 무엇인가?
• RQ4 임상 시험으로 진행하기 전에 필요한 완화 단계는 무엇인가?
• RQ5 이해당사자 협력이 사용성 및 안전 결과에 어떤 영향을 미치는가?

주요 결과

• Glow는 전체적으로 73%의 위험 프로브를 적절하게 처리했으며, 에이전트에 따라 성능 차이가 있었다.
• 해결책 분석 에이전트는 90%의 적절한 처리를 달성했고, 체인 분석 에이전트는 44%였다.
• 안전 실패는 약물 사용을 조장하고 해로운 행동을 정상화하는 것과 관련하여 군집화되었다.
• 체인 분석 에이전트는 악용적 신념을 강화하는 검증을 제공함으로써 '공감의 함정'을 보였다.
• 테스트 중 27건의 DBT 기술 오정보가 확인되었다.