[논문 리뷰] LLM-based Conversational AI Therapist for Daily Functioning Screening and Psychotherapeutic Intervention via Everyday Smart Devices

Jingping Nie, Hanya Shao외 5명|arXiv (Cornell University)|2024. 03. 16.

Digital Mental Health Interventions인용 수 6

한 줄 요약

CaiTI는 37개의 일상 기능 차원을 선별하고, 공감적 검증을 제공하며, 일상 스마트 기기를 통해 MI와 CBT 기반 중재를 제공하는 LLM 기반 대화형 AI 치료사로, 실세계 파일럿 배치가 이루어졌습니다.

ABSTRACT

Despite the global mental health crisis, access to screenings, professionals, and treatments remains high. In collaboration with licensed psychotherapists, we propose a Conversational AI Therapist with psychotherapeutic Interventions (CaiTI), a platform that leverages large language models (LLM)s and smart devices to enable better mental health self-care. CaiTI can screen the day-to-day functioning using natural and psychotherapeutic conversations. CaiTI leverages reinforcement learning to provide personalized conversation flow. CaiTI can accurately understand and interpret user responses. When the user needs further attention during the conversation, CaiTI can provide conversational psychotherapeutic interventions, including cognitive behavioral therapy (CBT) and motivational interviewing (MI). Leveraging the datasets prepared by the licensed psychotherapists, we experiment and microbenchmark various LLMs' performance in tasks along CaiTI's conversation flow and discuss their strengths and weaknesses. With the psychotherapists, we implement CaiTI and conduct 14-day and 24-week studies. The study results, validated by therapists, demonstrate that CaiTI can converse with users naturally, accurately understand and interpret user responses, and provide psychotherapeutic interventions appropriately and effectively. We showcase the potential of CaiTI LLMs to assist the mental therapy diagnosis and treatment and improve day-to-day functioning screening and precautionary psychotherapeutic intervention systems.

연구 동기 및 목표

• 정신 건강 상태를 평가하기 위해 37개 차원에 걸친 일상 기능을 선별한다.
• 신체 및 정신 상태에 맞춘 공감적 검증과 심리치료적 중재를 제공한다.
• 강화학습을 활용해 대화 흐름을 개인화하고 차원을 우선순위화한다.
• 자연스러운 치료사 안내 대화 내에서 MI와 CBT를 통합한다.
• 치료사 정보 기반의 마이크로 벤치마크와 실세계 배치를 통해 성능을 검증한다.

제안 방법

• LLMs를 활용해 개방형 질문을 생성하고 37-차원 프레임워크 내에서 사용자의 응답을 의미적으로 분석한다.
• 다음 질문을 유도하기 위해 39-상태 공간과 epsilon-greedy 정책을 갖는 Q-learning을 적용한다.
• Response Analyzer를 사용해 사용자 입력을 분할하고 37개 차원과 3개 점수에 걸쳐 (Dimension, Score)로 세그먼트를 분류한다.
• 높은 중요도 차원을 다루기 위해 MI 기법과 함께 반성-검증(R-V) 프로세스를 통합한다.
• 확인된 이슈를 다루기 위해 각 세션을 4단계 CBT 프로세스로 마무리한다.
• 치료 중 품질을 보장하고 AI 편향을 줄이기 위해 작업별 Reasoners, Guides, Validators를 개발한다.

실험 결과

연구 질문

• RQ1 자연스러운 개방형 대화를 사용하여 CaiTI가 37개 차원에 걸친 일상 기능을 정확하게 선별할 수 있는가?
• RQ2 LLM 기반 모듈이 실시간으로 심리치료적 중재(MI 및 CBT)를 효과적으로 생성, 분석 및 분류할 수 있는가?
• RQ3 강화학습이 선별 질문의 개인화 및 우선순위화에 어떻게 영향을 미치는가?
• RQ4 응답 분석 및 심리치료 구성 요소에서 서로 다른 LLM의 비교 성능은 어떠한가?
• RQ5 실제 세계의 장기 배치에서 CaiTI가 공인 심리치료사의 치료 검증과 함께 실행 가능하고 수용 가능한가?

주요 결과

• CaiTI는 자연스러운 대화 능력과 심리치료적 중재를 제공하기 위한 사용자 응답의 정확한 해석을 보여준다.
• 치료사 검증 연구는 CaiTI가 적절하고 효과적인 심리치료적 중재를 제공할 수 있음을 보여준다.
• 작업별 LLM(Reasoner, Guide, Validator)은 편향을 완화하고 심리치료의 질을 향상시키는 데 도움이 된다.
• 마이크로벤치마크에서 GPT-4 및 GPT-3.5 Turbo가 Response Analyzer 작업에서 강력한 성능을 보이는 반면, Llama-2 모델은 차원/점수 분류에서 성능이 저하된다.
• 20명의 대상자를 대상으로 14일에서 24주에 걸친 실세계 배치는 CaiTI가 상태를 평가하고 중재를 제공할 수 있는 능력을 입증한다.