[論文レビュー] PATIENT-Ψ: Using Large Language Models to Simulate Patients for Training Mental Health Professionals

Ruiyi Wang, Stephanie Milani+10 more|arXiv (Cornell University)|May 30, 2024

Digital Mental Health Interventions被引用数 5

ひとこと要約

PATIENT-Ψは CBTの認知モデルとLLMsを組み合わせ、精神保健専門家の訓練のための患者とのやり取りを模擬します。また、認知モデルの作成を練習する対話型トレーナーを導入します。

ABSTRACT

Mental illness remains one of the most critical public health issues. Despite its importance, many mental health professionals highlight a disconnect between their training and actual real-world patient practice. To help bridge this gap, we propose PATIENT-Ψ, a novel patient simulation framework for cognitive behavior therapy (CBT) training. To build PATIENT-Ψ, we construct diverse patient cognitive models based on CBT principles and use large language models (LLMs) programmed with these cognitive models to act as a simulated therapy patient. We propose an interactive training scheme, PATIENT-Ψ-TRAINER, for mental health trainees to practice a key skill in CBT -- formulating the cognitive model of the patient -- through role-playing a therapy session with PATIENT-Ψ. To evaluate PATIENT-Ψ, we conducted a comprehensive user study of 13 mental health trainees and 20 experts. The results demonstrate that practice using PATIENT-Ψ-TRAINER enhances the perceived skill acquisition and confidence of the trainees beyond existing forms of training such as textbooks, videos, and role-play with non-patients. Based on the experts' perceptions, PATIENT-Ψ is perceived to be closer to real patient interactions than GPT-4, and PATIENT-Ψ-TRAINER holds strong promise to improve trainee competencies. Our code and data are released at \url{https://github.com/ruiyiw/patient-psi}.

研究の動機と目的

• メンタルヘルスケアにおける訓練と実際の患者とのやりとりのギャップを埋める。
• うつ病・不安を抱える患者の多様で専門家検証済みの認知モデル(CCDs)を作成する。
• CCDsをLLMsと統合して、本物に近い模擬患者の行動を生成する。
• 学習者が患者の認知モデルを作成し、フィードバックを受け取れる対話型トレーナーを提供する。

提案手法

• CBT理論と専門家の入力からCCDを開発し、コア信念・自動思考・感情・行動を表現する。
• 患者の認知モデルと6つのあらかじめ定義された関係スタイルをLLMに組み込み、患者の対話を模擬する。
• LLMをCCDとスタイル指示で条件付けし、CBTベースのロールプレイを実行することでPatient-Ψを作成する。
• 学習者がモデル作成を練習し、参照CCDと比較するウェブベースの対話型ツールとしてPatient-Ψ-Trainerを設計する。
• 専門家と訓練生のユーザ研究を通じて、Patient-Ψ-TrainerをGPT-4ベースラインと比較して忠実度と訓練効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 CCDを用いたLLMは、多様な関係スタイルにわたる実際の患者とのコミュニケーションをどれだけ忠実に模倣できるか？
• RQ2 Patient-Ψ-Trainerを用いた訓練は、ベースライン手法よりCBTの作成スキル、認知度感、そして自信を向上させるか？
• RQ3 専門家と訓練生は、既存のCBT訓練技法よりもPatient-Ψ-Trainerを好むか？
• RQ4 新しいAI搭載の患者シミュレーションツールの有用性と採用に影響を与える要因は何か？
• RQ5 このフレームワークはCBTを超えた他の心の健康訓練パラダイムへ一般化できるか？

主な発見

• 専門家は、症状・認知・感情・関係スタイルの点で、GPT-4よりも実際の患者に忠実であるとPatient-Ψを評価した（中央値4.0–4.5）。
• 専門家は、CBTの作成スキルを向上させ、信念と非適応思考を特定する能力においてPatient-Ψ-Trainerを高く評価した（中央値は最大5.0）。
• 専門家は、総合的なCBTスキルと教室への適用という点で、GPT-4ベースラインよりPatient-Ψ-Trainerを好んだ（採用中央値5.0）。
• 学習者はPatient-Ψ-Trainerをより強く好み（中央値4.5）、ベースライン手法より技能と自信の向上を実感したと報告した。
• CCD精度の各次元で、模擬患者の約75%が全体として非常に高い/極めて高い精度を示し、特定の次元では75–90%が非常に高い/極めて高い精度だった。