[论文解读] Illuminate: A novel approach for depression detection with explainable analysis and proactive therapy using prompt engineering

Aryan Agrawal|arXiv (Cornell University)|Feb 5, 2024

Mental Health Research TopicsPsychology被引用 3

一句话总结

本文提出 Illuminate，一种基于大语言模型的新型框架，用于抑郁症检测与主动治疗，采用微调后的 GPT-4、Llama 2 和 Gemini 模型，并结合专门的提示工程。该框架采用少样本提示策略，与 DSM-5 诊断标准对齐，整合认知行为疗法（CBT）驱动的对话管理机制，并提出 Illuminate 数据库以支持个性化干预，实现了在 F1、精确率、召回率和 ROUGE 指标上的优异表现。

ABSTRACT

This paper introduces a novel paradigm for depression detection and treatment using advanced Large Language Models (LLMs): Generative Pre-trained Transformer 4 (GPT-4), Llama 2 chat, and Gemini. These LLMs are fine-tuned with specialized prompts to diagnose, explain, and suggest therapeutic interventions for depression. A unique few-shot prompting method enhances the models' ability to analyze and explain depressive symptoms based on the DSM-5 criteria. In the interaction phase, the models engage in empathetic dialogue management, drawing from resources like PsychDB and a Cognitive Behavioral Therapy (CBT) Guide, fostering supportive interactions with individuals experiencing major depressive disorders. Additionally, the research introduces the Illuminate Database, enriched with various CBT modules, aiding in personalized therapy recommendations. The study evaluates LLM performance using metrics such as F1 scores, Precision, Recall, Cosine similarity, and Recall-Oriented Understudy for Gisting Evaluation (ROUGE) across different test sets, demonstrating their effectiveness. This comprehensive approach blends cutting-edge AI with established psychological methods, offering new possibilities in mental health care and showcasing the potential of LLMs in revolutionizing depression diagnosis and treatment strategies.

研究动机与目标

• 解决心理健康领域中对早期、准确且可解释的抑郁症检测的迫切需求。
• 通过引入心理框架支持的共情、临床相关的对话，克服现有 AI 模型的局限性。
• 开发一种主动治疗系统，提供基于 CBT 和 DSM-5 诊断标准的个性化、循证干预。
• 构建一个全新的标注数据集——Illuminate 数据库，通过整合 CBT 模块以提升个性化程度与模型训练效果。
• 展示提示工程在增强大语言模型在心理健康应用中的可解释性与临床相关性方面的有效性。

提出的方法

• 使用针对抑郁症诊断与解释优化的专用提示，对多个大语言模型（GPT-4、Llama 2、Gemini）进行微调。
• 实施少样本提示策略，以提升模型与 DSM-5 抑郁症状诊断标准的一致性。
• 集成心理资源（如 PsychDB 和 CBT 指南），在交互阶段支持共情、治疗性的对话。
• 设计动态对话管理机制，支持重度抑郁症患者在实时、上下文感知环境下的响应。
• 通过在临床数据中添加结构化的 CBT 模块，构建 Illuminate 数据库，以支持个性化治疗建议。
• 采用多指标评估框架（包括 F1 分数、精确率、召回率、余弦相似度和 ROUGE）评估模型性能。

实验结果

研究问题

• RQ1 少样本提示工程是否能显著提升大语言模型基于 DSM-5 标准诊断抑郁症的准确性与可解释性？
• RQ2 在整合 CBT 与心理资源的引导下，大语言模型在多大程度上能生成具有共情力且临床相关的回应？
• RQ3 与基线模型相比，Illuminate 数据库在支持个性化、循证治疗建议方面效果如何？
• RQ4 微调后的大语言模型在抑郁症检测与响应生成任务中，在关键 NLP 指标（F1、精确率、召回率、ROUGE）上的表现如何？
• RQ5 经过提示工程优化的大语言模型是否能在临床准确性与用户参与度之间实现良好平衡，从而支持主动心理健康干预？

主要发现

• 大语言模型在多样化的测试集上均表现出较高的 F1 分数与精确率，表明其在检测抑郁症状方面具有强大的诊断准确性。
• ROUGE 分数表明生成的治疗性回应高度相关且连贯，与参考临床文本高度匹配。
• 余弦相似度指标证实，模型输出在语义上与临床指南及心理框架保持一致。
• 与零样本基线相比，少样本提示方法显著提升了模型在症状分析中的一致性与可解释性。
• CBT 与 PsychDB 资源的整合使对话响应更具共情力且更符合上下文情境。
• Illuminate 数据库在支持个性化治疗建议方面表现有效，模型输出与循证 CBT 实践高度一致。