[論文レビュー] LLM-empowered Chatbots for Psychiatrist and Patient Simulation: Application and Evaluation

Siyuan Chen, Mengyue Wu+4 more|arXiv (Cornell University)|May 23, 2023

Digital Mental Health Interventions被引用数 38

ひとこと要約

この論文は、精神科の診断対話のためのChatGPT搭載の医師と患者のチャットボットを、反復的なプロンプト設計と精神科医および患者による人間＋自動評価を用いて評価します。

ABSTRACT

Empowering chatbots in the field of mental health is receiving increasing amount of attention, while there still lacks exploration in developing and evaluating chatbots in psychiatric outpatient scenarios. In this work, we focus on exploring the potential of ChatGPT in powering chatbots for psychiatrist and patient simulation. We collaborate with psychiatrists to identify objectives and iteratively develop the dialogue system to closely align with real-world scenarios. In the evaluation experiments, we recruit real psychiatrists and patients to engage in diagnostic conversations with the chatbots, collecting their ratings for assessment. Our findings demonstrate the feasibility of using ChatGPT-powered chatbots in psychiatric scenarios and explore the impact of prompt designs on chatbot behavior and user experience.

研究の動機と目的

• 精神科外来診断のための医師と患者のチャットボットのタスクを形式化する。
• 精神科医と共同でプロンプトを設計し、チャットボットの挙動を実際の診断と一致させる。
• ユーザ研究と自動指標を組み合わせた人間中心の評価フレームワークを開発・適用する。
• プロンプト設計がチャットボットの共感、深掘りの質問、ユーザー体験に与える影響を示す。

提案手法

• 協働する精神科医の指導の下で、医師および患者チャットボットを形成するための反復的なプロンプト設計。
• 3フェーズの開発: 目的の特定（フェーズ1）、プロンプト設計と評価フレームワーク（フェーズ2）、精神科医と患者を含む実ユーザー評価（フェーズ3）。
• 複数のプロンプト変種の経験的比較（医師用はD1–D4、患者用はP1–P2）。
• 人間評価指標の組み合わせ（医師用は流暢さ、共感、専門知識、エンゲージメント；患者用は類似性、推論性）と自動指標（診断精度、症状想起、深掘り比率、Distinct-1 など）。
• 医師プロンプトへの共感と深掘り質問の組み込み; 患者プロンプトには明示的な正直さと口語/日常生活文脈の言語を使用。

Figure 1: The overview of the psychiatrist-guided three-phase study.

実験結果

リサーチクエスチョン

• RQ1 ChatGPT搭載の医師および患者チャットボットは、実際の精神科診断対話を近似できるか。
• RQ2 異なるプロンプト設計は、チャットボットの共感、深掘りの質問、およびユーザー体験にどのような影響を与えるか。
• RQ3 チャットボットの診断タスクにおける、人間の臨床医に似た挙動と自動指標の関係は何か。
• RQ4 表現される症状と対話スタイルの観点で、模擬患者は実患者とどう比較されるか。
• RQ5 精神科診断対話の質を最も適切に捕捉する評価フレームワークは何か。

主な発見

• 共感を有効にする医師のプロンプトは共感スコアを改善するが、過度に反復的な共感はユーザー体験を損なうことがある。
• 症状側面の明示的プロンプトを含まないプロンプト設計（D3）は、研究中の医師チャットボットの中で最も高い診断精度を達成した（55.56%）、他の指標はプロンプトごとにばらつきあり。
• プロンプトの変化は質問の深さと症状の想起の両方に影響を与え、D3はより深い深掘り質問と高い症状の正確さを示す一方で、症状の想起は低い。
• 抵抗と口語的な言語を取り入れた患者プロンプト（P2）は、現実味スコアと精神科医の表現スタイルが高かったが、未記載の症状比率の低下を伴うこともあった。
• 人間の医師は、チャットボットよりもバランスの取れた包括的な症状カバーを示し、多疾患スクリーニングとスクリーニング戦略の残るギャップを浮き彫りにした。
• 自動指標は、言語スタイル（Distinct-1）と症状報告の正確さのトレードオフを患者チャットボットで明らかにした。

Figure 2: The iterative development process of the prompt of doctor chatbots. Psychiatrists will identify the limitations of the current version, and we will address these issues in the subsequent version.