[論文レビュー] Empowering Psychotherapy with Large Language Models: Cognitive Distortion Detection through Diagnosis of Thought Prompting

Zhiyu Chen, Yujie Lu+1 more|arXiv (Cornell University)|Oct 11, 2023

Machine Learning in Healthcare被引用数 5

ひとこと要約

本論文では、大規模言語モデル（LLMs）を活用して患者の発話における認知的歪みを検出するためのプロンプトフレームワーク「Thoughtの診断（DoT）」を紹介する。DoTは3段階のプロセス——主観性評価、対比的推論、スキーマ分析——を経て、認知的歪みの検出を実現する。DoTは歪み検出において10%以上の相対的改善を達成し、高品質で専門家が承認した推論を生成する。これは、LLMsが解釈可能性と臨床的関連性を備えて、プロフェッショナルな精神療法を支援する可能性を示している。

ABSTRACT

Mental illness remains one of the most critical public health issues of our time, due to the severe scarcity and accessibility limit of professionals. Psychotherapy requires high-level expertise to conduct deep, complex reasoning and analysis on the cognition modeling of the patients. In the era of Large Language Models, we believe it is the right time to develop AI assistance for computational psychotherapy. We study the task of cognitive distortion detection and propose the Diagnosis of Thought (DoT) prompting. DoT performs diagnosis on the patient's speech via three stages: subjectivity assessment to separate the facts and the thoughts; contrastive reasoning to elicit the reasoning processes supporting and contradicting the thoughts; and schema analysis to summarize the cognition schemas. The generated diagnosis rationales through the three stages are essential for assisting the professionals. Experiments demonstrate that DoT obtains significant improvements over ChatGPT for cognitive distortion detection, while generating high-quality rationales approved by human experts.

研究の動機と目的

• 計算的精神療法のためのAI支援ツールを開発することで、精神保健専門職の深刻な不足に対処すること。
• 感情分析のヒューリスティックな手法を越えて、認知行動療法（CBT）の鍵となる認知的歪みの自動検出を改善すること。
• 臨床的推論を模倣する構造的で解釈可能なプロンプトフレームワークを設計すること。
• 臨床的意思決定を支援する高品質で専門家が検証済みの推論を生成すること。
• 精神保健分野における安全で倫理的かつ専門的なAI統合の基盤を確立すること。

提案手法

• 主観性評価：患者の発話における客観的事実と主観的思考を区別する。
• 対比的推論：患者の思考を支持する側と反対する側の両方の推論チェーンを引き出すことで、その妥当性を評価する。
• スキーマ分析：患者の思考パターンを既知の認知的歪みのタイプ（例：自己責任帰属、心の読み取り）にマッピングする。
• DoTプロンプト：これらの3段階をチェーン・オブ・スケッチ・プロンプトを用いて順序付け、包括的な診断推論を生成する。
• 微調整なしで、ゼロショット設定下で最先端のLLMs（例：GPT-4、ChatGPT）を活用して診断を実行する。
• UpWorkのヒューマンエキスパート（ライセンスを持つ臨床家およびカウンセリング心理学の博士号学生を含む）による出力の検証

実験結果

リサーチクエスチョン

• RQ1 LLMsは、臨床的関連性と解釈可能性を備えて、患者の発話における認知的歪みを効果的に検出できるか？
• RQ2 DoTプロンプトフレームワークは、ベースラインのLLM性能に比べて認知的歪み検出でどのように向上するか？
• RQ3 DoTが生成する推論は、精神保健専門家によって高品質と評価されるか？
• RQ4 3段階のDoTプロセス（主観性、対比的推論、スキーマ分析）は、診断的推論をどの程度向上させるか？
• RQ5 LLMsを精神療法支援に導入する際の倫理的および安全性の懸念は何か？

主な発見

• DoTは、ゼロショット設定下でChatGPTと比較して、認知的歪みの評価において10%以上の相対的改善を達成した。
• DoTは、ゼロショット設定下でChatGPTと比較して、認知的歪みの分類において15%以上の相対的改善を達成した。
• ヒューマンエキスパートは、DoTが生成した推論を高品質と評価し、臨床的推論基準と強い整合性を示した。
• 3段階のDoTフレームワークにより、LLMが生成する診断の完全な解釈可能性が実現され、臨床的信頼性と透明性にとって不可欠である。
• 本研究は、LLMsが認知療法において、精神保健専門職を補完するのを支援する可能性を示している。
• 本研究は、精神保健分野におけるAIの導入にあたって、倫理的ガイドラインと専門家の監視の必要性を強調している。