[论文解读] ChatCounselor: A Large Language Models for Mental Health Support
ChatCounselor 是一个在专业咨询数据（Psych8k）上进行微调的语言模型，用于提供心理健康支持，优于开源模型，接近 ChatGPT 的性能。
This paper presents ChatCounselor, a large language model (LLM) solution designed to provide mental health support. Unlike generic chatbots, ChatCounselor is distinguished by its foundation in real conversations between consulting clients and professional psychologists, enabling it to possess specialized knowledge and counseling skills in the field of psychology. The training dataset, Psych8k, was constructed from 260 in-depth interviews, each spanning an hour. To assess the quality of counseling responses, the counseling Bench was devised. Leveraging GPT-4 and meticulously crafted prompts based on seven metrics of psychological counseling assessment, the model underwent evaluation using a set of real-world counseling questions. Impressively, ChatCounselor surpasses existing open-source models in the counseling Bench and approaches the performance level of ChatGPT, showcasing the remarkable enhancement in model capability attained through high-quality domain-specific data.
研究动机与目标
- 构建一个高质量的咨询数据集（Psych8k），来自有执照的咨询师。
- 开发用于心理咨询的领域特定指令微调管线。
- 使用专门的 Counseling Bench 和 GPT-4 自动评估来评估咨询质量。
- 证明领域聚焦数据在性能上优于开源基线。
- 提供可复现和扩展工作的代码。
提出的方法
- 从 260 次真实生活咨询访谈中组装 Psych8k，使用 GPT-4 洗炼出 8,187 对指令，总计约 200 万标记。
- 用领域特定的咨询任务指令对 LLaMA-7B 基模型进行微调。
- 使用自回归训练的指令微调，以使回应与咨询技能保持一致。
- 使用七步策略的 Counseling Bench 和 229 个真实问题进行评估。
- 利用 GPT-4 作为自动裁判，对模型输出在各策略下进行评分。
- 报告训练设置细节，包括上下文长度、批量大小、优化器和硬件。
实验结果
研究问题
- RQ1领域特定的咨询数据是否能提升在心理健康支持方面的 LLM 性能？
- RQ2与开源基线相比，ChatCounselor 在与领域相关的咨询策略上的表现如何？
- RQ3少量高质量、专业数据是否能带来可衡量的咨询质量提升？
- RQ4自动化的 GPT-4 评估是否能够提供稳健、快速的咨询能力评估？
主要发现
- ChatCounselor 在 Counseling Bench 上的表现优于开源的 LLaMA-7B、Alpaca-7B、ChatGLM-v2-7B 和 Robins-v2-7B。
- 在自动化评估中，它接近 ChatGPT 的表现。
- 对咨询特定数据进行微调，其提升超出基础模型和通用指令微调变体。
- 一个相对较小但高质量的数据集（Psych8k）可以显著提升领域特定的咨询性能。
- 基于 GPT-4 的自动化评估可与人工评估互补，并支持快速基准测试。
- 该方法展示了现实世界专业数据在专门对话系统中的价值。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。