[論文レビュー] LLM-based Conversational AI Therapist for Daily Functioning Screening and Psychotherapeutic Intervention via Everyday Smart Devices

Jingping Nie, Hanya Shao+5 more|arXiv (Cornell University)|Mar 16, 2024

Digital Mental Health Interventions被引用数 6

ひとこと要約

CaiTIは日常の機能を37の次元でスクリーニングし、共感的なバリデーションを提供し、MIおよびCBTベースの介入を一般的なスマートデバイスを通じて提供するLLM主導の対話型AIセラピストであり、実務的なパイロット展開を行っている。

ABSTRACT

Despite the global mental health crisis, access to screenings, professionals, and treatments remains high. In collaboration with licensed psychotherapists, we propose a Conversational AI Therapist with psychotherapeutic Interventions (CaiTI), a platform that leverages large language models (LLM)s and smart devices to enable better mental health self-care. CaiTI can screen the day-to-day functioning using natural and psychotherapeutic conversations. CaiTI leverages reinforcement learning to provide personalized conversation flow. CaiTI can accurately understand and interpret user responses. When the user needs further attention during the conversation, CaiTI can provide conversational psychotherapeutic interventions, including cognitive behavioral therapy (CBT) and motivational interviewing (MI). Leveraging the datasets prepared by the licensed psychotherapists, we experiment and microbenchmark various LLMs' performance in tasks along CaiTI's conversation flow and discuss their strengths and weaknesses. With the psychotherapists, we implement CaiTI and conduct 14-day and 24-week studies. The study results, validated by therapists, demonstrate that CaiTI can converse with users naturally, accurately understand and interpret user responses, and provide psychotherapeutic interventions appropriately and effectively. We showcase the potential of CaiTI LLMs to assist the mental therapy diagnosis and treatment and improve day-to-day functioning screening and precautionary psychotherapeutic intervention systems.

研究の動機と目的

• メンタルヘルス状態を評価するため、37の次元にわたる日常の機能をスクリーニングします。
• 身体的・精神的状態に合わせた共感的バリデーションと心理療法的介入を提供します。
• 対話の流れを個別化し、次元の優先順位を決定するために強化学習を活用します。
• 自然な、セラピストに導かれた対話の中でMIとCBTを組み込みます。
• セラピストが情報提供するマイクロベンチマークと実世界展開を通じてパフォーマンスを検証します。

提案手法

• 37-dimension フレームワーク内で、オープンエンドな質問を生成し、ユーザーの回答を意味解析します。
• 39-state 空間とepsilon-greedyポリシーを用いて、次の質問を導くためにQ-learningを適用します。
• Response Analyzer を用いてユーザー入力をセグメント化し、それぞれを 37 の次元と 3 つのスコアに跨る (Dimension, Score) に分類します。
• MI技法を用いた反省・検証（R-V）プロセスを組み込み、ハイサリエンスな次元を扱います。
• 特定された課題に対処するため、セッションの終わりに4段階のCBTプロセスを実施します。
• psychotherapy 中の品質を確保しAIのバイアスを低減するために、タスク特有のReasoners、Guides、および Validators を開発します。

実験結果

リサーチクエスチョン

• RQ1 CaiTIは、自然なオープンエンド対話を用いて、37の次元にわたる日々の機能を正確にスクリーニングできますか？
• RQ2 LLMベースのモジュールはリアルタイムで心理療法的介入（MIとCBT）を効果的に生成・分析・ルーティングできますか？
• RQ3 強化学習がスクリーニング質問の個別化と優先順位付けにどのような影響を与えますか？
• RQ4 反応分析と心理療法構成要素における異なるLLMの比較性能はどうですか？
• RQ5 認定心理療法士による治療 Validation を伴う現実世界の長期展開で、CaiTIは実現可能で受け入れられますか？

主な発見

• CaiTIは自然な会話能力と、心理療法的介入を提供するためのユーザー回答の正確な解釈を示します。
• セラピスト検証済みの研究は、CaiTIが適切で効果的な心理療法的介入を提供できることを示しています。
• タスク特有のLLM（Reasoner、Guide、Validator）はバイアスを緩和し、心理療法の質を向上させます。
• Microbenchmarks は GPT-4 と GPT-3.5 Turbo が Response Analyzer タスクで高い性能を示し、Llama-2 モデルは次元/スコア分類で劣ることを示しています。
• 20名を対象とした14日間から24週間の現実世界展開は、CaiTIが状況を評価し介入を提供する能力を裏付けます。