[论文解读] CBT-LLM: A Chinese Large Language Model for Cognitive Behavioral Therapy-based Mental Health Question Answering

Hongbin Na|arXiv (Cornell University)|Mar 24, 2024

Mental Health via Writing被引用 6

一句话总结

CBT-LLM 使用 prompts 生成的以 CBT 为重点的数据集，对中文大型语言模型进行微调，在结构化、与 CBT 对齐的心理健康问答方面超越基线。

ABSTRACT

The recent advancements in artificial intelligence highlight the potential of language models in psychological health support. While models trained on data from mental health service platform have achieved preliminary success, challenges persist in areas such as data scarcity, quality, and ensuring a solid foundation in psychological techniques. To address these challenges, this study introduces a novel approach to enhance the precision and efficacy of psychological support through large language models. Specifically, we design a specific prompt derived from principles of Cognitive Behavioral Therapy (CBT) and have generated the CBT QA dataset, specifically for Chinese psychological health Q&A based on CBT structured intervention strategies. Unlike previous methods, our dataset emphasizes professional and structured response. Utilizing this dataset, we fine-tuned the large language model, giving birth to CBT-LLM, the large-scale language model specifically designed for Cognitive Behavioral Therapy techniques. Empirical evaluations demonstrate that CBT-LLM excels in generating structured, professional, and highly relevant responses in psychological health support tasks, showcasing its practicality and quality. The model is available on Hugging Face: https://huggingface.co/Hongbin37/CBT-LLM.

研究动机与目标

• 设计面向中文心理健康对话的 CBT 专用提示和 CBT QA 数据集。
• 对大型语言模型进行指令微调和 LoRA 的微调以完成 CBT Q&A 任务。
• 使用自动评估指标和人工评估对模型与基线进行评估。

提出的方法

• 使用 CBT 提示和 ChatGPT 为 PsyQA 问题生成面向 CBT 的回答，形成 CBT QA 数据集。
• 对 Transformer-Decoder LLM 进行带指令微调和 Low-Rank Adaptation (LoRA) 的微调。
• 在 3 轮训练计划上使用交叉熵损失进行训练，采用 16 位精度和余弦学习率调度。

实验结果

研究问题

• RQ1 以 CBT 为聚焦的提示和数据集是否能提升 LLM 产出的中文心理健康问答在 CBT 结构、相关性和实用性方面？
• RQ2 在自动评估和人工评估中，CBT-LLM 相较于具备中文能力的基线在 CBT 面向的回答方面表现如何？
• RQ3 对认知扭误的识别质量如何，以及 CBT 提示在生成 CBT 一致输出方面的可靠性有多高？

主要发现

• CBT-LLM 在 CBT QA 任务上比基线获得更高的自动指标分数（Baichuan-7B, Alpaca-Chinese-7B, LLaMA-Chinese-7B, Qwen-7B）。
• 人工评估显示 Baichuan-7B 在 CBT 情境下的相关性、结构符合性和有用性方面在基线中表现最佳。
• 该 CBT 提示在 500 个样本的心理治疗师标注子集上，能够以 0.69 的准确率、0.93 的召回率和 0.65 的 F1 识别认知扭曲。
• CBT-LLM 的输出被描述为结构化、专业，且与用户在 CBT 为基础的心理支持中的需求高度相关。