[论文解读] Empowering Psychotherapy with Large Language Models: Cognitive Distortion Detection through Diagnosis of Thought Prompting

Zhiyu Chen, Yujie Lu+1 more|arXiv (Cornell University)|Oct 11, 2023

Machine Learning in Healthcare被引用 5

一句话总结

本文提出思维诊断（DoT）框架，一种利用大语言模型（LLMs）通过三个阶段检测患者言语中认知扭曲的提示工程方法：主观性评估、对比推理和模式分析。DoT在扭曲检测方面实现了超过10%的相对性能提升，并生成了高质量、经专家认可的推理过程，展示了大语言模型在可解释性和临床相关性方面支持专业心理治疗的潜力。

ABSTRACT

Mental illness remains one of the most critical public health issues of our time, due to the severe scarcity and accessibility limit of professionals. Psychotherapy requires high-level expertise to conduct deep, complex reasoning and analysis on the cognition modeling of the patients. In the era of Large Language Models, we believe it is the right time to develop AI assistance for computational psychotherapy. We study the task of cognitive distortion detection and propose the Diagnosis of Thought (DoT) prompting. DoT performs diagnosis on the patient's speech via three stages: subjectivity assessment to separate the facts and the thoughts; contrastive reasoning to elicit the reasoning processes supporting and contradicting the thoughts; and schema analysis to summarize the cognition schemas. The generated diagnosis rationales through the three stages are essential for assisting the professionals. Experiments demonstrate that DoT obtains significant improvements over ChatGPT for cognitive distortion detection, while generating high-quality rationales approved by human experts.

研究动机与目标

• 为应对心理健康专业人员严重短缺的问题，开发用于计算心理治疗的AI辅助工具。
• 在认知行为疗法（CBT）的关键环节——认知扭曲检测方面，超越基于启发式的情感分析方法。
• 设计一种结构化、可解释的提示工程框架，使大语言模型能够模拟临床推理过程。
• 生成高质量、经专家验证的推理过程，以支持临床决策。
• 为安全、伦理且专业的AI在心理健康护理中的整合奠定基础。

提出的方法

• 主观性评估：区分患者言语中的客观事实与主观想法。
• 对比推理：为患者的想法提取支持与反对的推理链，以评估其有效性。
• 模式分析：将患者的想法模式映射到已知的认知扭曲类型（如个人化、读心术）。
• DoT提示工程：通过思维链提示将这三个阶段按顺序组织，生成全面的诊断推理过程。
• 在零样本设置下利用最先进的大语言模型（如GPT-4、ChatGPT）执行诊断，无需微调。
• 通过UpWork平台的人类专家（包括持证临床医生和辅导心理学博士生）对输出结果进行验证。

实验结果

研究问题

• RQ1 大语言模型能否在具有临床相关性和可解释性的前提下，有效检测患者言语中的认知扭曲？
• RQ2 DoT提示工程框架相较于基线大语言模型在认知扭曲检测方面有何改进？
• RQ3 DoT生成的推理过程能否被心理健康专业人员评定为高质量？
• RQ4 三阶段DoT流程（主观性评估、对比推理、模式分析）在多大程度上提升了诊断推理能力？
• RQ5 在心理治疗辅助中部署大语言模型时，存在哪些伦理与安全考量？

主要发现

• 在零样本设置下，DoT相较于ChatGPT在认知扭曲评估方面实现了超过10%的相对性能提升。
• 在零样本设置下，DoT在认知扭曲分类方面相较于ChatGPT实现了超过15%的相对性能提升。
• 人类专家评定DoT生成的推理过程为高质量，且与临床推理标准高度一致。
• 三阶段DoT框架实现了大语言模型生成诊断的完全可解释性，这对临床信任和透明度至关重要。
• 本研究凸显了大语言模型在认知治疗中可作为辅助工具，而非替代心理健康专业人员的潜力。
• 本研究强调了在心理健康应用中部署AI时，制定伦理准则并实施专业监督的必要性。