[論文レビュー] Toward Large Language Models as a Therapeutic Tool: Comparing Prompting Techniques to Improve GPT-Delivered Problem-Solving Therapy

Daniil Filienko, Yinzhou Wang+5 more|PubMed|Aug 27, 2024

Artificial Intelligence in Healthcare and EducationMedicine参考文献 1被引用数 3

ひとこと要約

本研究では、Few-shot プロンプトとChain-of-Thought（CoT）プロンプトを用いたコンテキスト内学習を通じて、GPT-4が家族介護者に対して問題解決療法（PST）を効果的に提供できるようにするためのプロンプト工学手法を評価している。その結果、Few-shot プロンプトは症状の特定と目標設定の両面で顕著な向上を示した一方、CoT プロンプトは共感心を高めたが、タスクの正確性を低下させた。これは、プロンプト設計が大規模言語モデル（LLM）の治療的対話におけるパフォーマンスに顕著に影響することを示している。

ABSTRACT

While Large Language Models (LLMs) are being quickly adapted to many domains, including healthcare, their strengths and pitfalls remain under-explored. In our study, we examine the effects of prompt engineering to guide Large Language Models (LLMs) in delivering parts of a Problem-Solving Therapy (PST) session via text, particularly during the symptom identification and assessment phase for personalized goal setting. We present evaluation results of the models' performances by automatic metrics and experienced medical professionals. We demonstrate that the models' capability to deliver protocolized therapy can be improved with the proper use of prompt engineering methods, albeit with limitations. To our knowledge, this study is among the first to assess the effects of various prompting techniques in enhancing a generalist model's ability to deliver psychotherapy, focusing on overall quality, consistency, and empathy. Exploring LLMs' potential in delivering psychotherapy holds promise with the current shortage of mental health professionals amid significant needs, enhancing the potential utility of AI-based and AI-enhanced care services.

研究の動機と目的

• ファインチューニングを用いずに、一般用途の大規模言語モデル（LLM）がプロトコルに則った問題解決療法（PST）を提供できるようになるか、プロンプト工学がその能力を向上させられるかを評価すること。
• ゼロショット、Few-shot、Chain-of-Thought（CoT）といった異なるプロンプト技術が、LLMが出力するPST対話の質、一貫性、共感心に与える影響を評価すること。
• 専門家による評価と自動化された指標を用いて、LLMが出力する対話と人間のセラピストの基準との比較を行うこと。
• 医療従事者の不足に直面する精神保健分野において、市販のLLMを治療的ツールとして使用する可能性を検討すること。
• LLM駆動の心理療法において、治療の質、タスクの正確性、共感的対応のバランスを最も良く保てるプロンプト戦略を同定すること。

提案手法

• 医療Q&A向けに既存のLLMパイプラインを改変し、PSTの対話生成に特化させた。主に症状の特定と目標設定に焦点を当てた。
• Few-shot プロンプトを用いたコンテキスト内学習を実施。モデルが応答スタイルと構造を模倣できるよう、例示対話文を提示した。
• Chain-of-Thought（CoT）プロンプトを適用し、段階的かつ体系的な推論を促進することで、共感心や探求的対応の質を向上させることを目的とした。
• 標準化された患者役の俳優を用いて、一貫性があり役割に基づいた対話を再現可能にし、評価の条件を安定化させた。
• 二重評価を実施：対話の整合性と構造を評価する自動指標、および専門家による共感心、質、一貫性の評価。
• ルールベースのチャットボット（一般的な共感表現を用いるが、根拠に基づく治療技術を含まない）をベースラインとして比較した。

実験結果

リサーチクエスチョン

• RQ1 ゼロショット、Few-shot、Chain-of-Thoughtといった異なるプロンプト技術が、LLMが出力する問題解決療法（PST）対話の質と一貫性にどのように影響を与えるか？
• RQ2 Few-shot プロンプトは、PSTセッションにおける症状の特定と目標設定の正確性をどの程度向上できるか？
• RQ3 Chain-of-Thought プロンプトはLLMの応答における共感心を高めるか。その場合、タスク固有のパフォーマンスはどの程度低下するか？
• RQ4 制御された環境下で専門家による評価がなされた状況において、LLMのパフォーマンスは人間のセラピストの基準と比べてどの程度の水準にあるか？
• RQ5 ファインチューニングなしで、LLMがプロトコルに則った、患者中心の心理療法を提供できるようにするためのプロンプト工学の限界は何か？

主な発見

• Few-shot プロンプトは、ゼロショット プロンプトと比較して、LLMの症状の特定と目標設定におけるパフォーマンスを顕著に向上させた。
• Chain-of-Thought プロンプトは、特に療法の探求段階において共感心の認識を高めたが、症状の特定と目標設定の正確性は低下した。
• 専門家による評価では、LLMが出力した対話は、一般的な共感表現を用いる人間が作成したベースラインよりも高い全体的な質の評価を得た。
• 改善は見られたが、依然として、楽観的すぎたり一般的すぎたりする応答を避け、実行可能な助言を優先するといった、内省的な治療的原則の理解に課題が残った。
• 結果から、プロンプト工学がLLMの治療的応用において有意義に機能することが示唆されたが、共感心とタスク正確性のトレードオフには注意深い設計が不可欠である。
• 本研究では、適切に保護されない場合にLLMが個人情報を再利用するリスクが浮き彫りになった。今後の研究では、プライバシー保護型ファインチューニングとリtrieval-augmented generation（RAG）の導入が不可欠であると強調された。