[论文解读] Large Language Models for Mental Health Diagnostic Assessments: Exploring The Potential of Large Language Models for Assisting with Mental Health Diagnostic Assessments -- The Depression and Anxiety Case

Kaushik Roy, Harshul Surana+5 more|arXiv (Cornell University)|Jan 2, 2025

Mental Health via Writing被引用 3

一句话总结

本论文评估提示和微调大型语言模型以协助 PHQ-9 与 GAD-7 诊断评估，比较专有模型与开源模型对专家基准的符合性，并发布 DiagnosticLlama 模型及相关数据集。

ABSTRACT

Large language models (LLMs) are increasingly attracting the attention of healthcare professionals for their potential to assist in diagnostic assessments, which could alleviate the strain on the healthcare system caused by a high patient load and a shortage of providers. For LLMs to be effective in supporting diagnostic assessments, it is essential that they closely replicate the standard diagnostic procedures used by clinicians. In this paper, we specifically examine the diagnostic assessment processes described in the Patient Health Questionnaire-9 (PHQ-9) for major depressive disorder (MDD) and the Generalized Anxiety Disorder-7 (GAD-7) questionnaire for generalized anxiety disorder (GAD). We investigate various prompting and fine-tuning techniques to guide both proprietary and open-source LLMs in adhering to these processes, and we evaluate the agreement between LLM-generated diagnostic outcomes and expert-validated ground truth. For fine-tuning, we utilize the Mentalllama and Llama models, while for prompting, we experiment with proprietary models like GPT-3.5 and GPT-4o, as well as open-source models such as llama-3.1-8b and mixtral-8x7b.

研究动机与目标

• 评估 LLMs 是否能够遵循标准化的 PHQ-9 与 GAD-7 诊断程序。
• 在专有与开源模型中比较提示与微调方法的差异。
• 开发并评估在诊断标准上进行微调的专用 DiagnosticLlama 模型。
• 创建并发布临床注释的合成数据与模型工件以支持研究。

提出的方法

• 使用 PRIMATE 提供的 PHQ-9 和 GAD-7 基准数据集作为模型指导。
• 用 hits@k 及标准分类指标（准确率、精确度、召回率、F1）评估 LLM 输出。
• 在模型中探索提示（朴素型、示例驱动、引导型）与微调（SFT、RLHF、DPO）。
• 对 MentalllaMa 进行微调以创建 DiagnosticLlama 并与提示结果进行比较。
• 通过 Hugging Face 与 GitHub 发布 DiagnosticLlama 及带注释的数据集。

Figure 1. Mental Health Diagnostic Assessment Questionnaires. The Patient Health Questionnaire (PHQ)-9 for depression assessment and the Generalized Anxiety Disorder (GAD)-7 for anxiety assessment.

实验结果

研究问题

• RQ1 LLMs 能否从帖子中识别 PHQ-9 与 GAD-7 症状标准以达到专家基准的准确性？
• RQ2 提示与微调如何影响与临床评估的一致性？
• RQ3 专有模型与开源模型在诊断标准的一致性方面有何差异？
• RQ4 在可靠的 LLM 辅助心理健康诊断中，实际应用的限制与数据需求是什么？

主要发现

• LLMs 在提示和微调设置下的任务中接近专家注释的质量水平。
• GPT-4o-mini 在专有模型中表现出色，mixtral-8x7b 在开源模型中表现优异，分别在关键评估中。
• 微调 DiagnosticLlama 模型显示出有希望的结果，虽然微调成本高且对该任务具有挑战性。
• 较老的 LLM 与非自回归模型在与现代 LLM 的性能上存在明显差距。
• 少量示例提示和微调通常相对零-shot 基线提升性能。