[论文解读] Depression Detection on Social Media with Large Language Models

Xiaochong Lan, Han, Zhiguang+5 more|arXiv (Cornell University)|Mar 16, 2024

Mental Health via Writing被引用 13

一句话总结

DORIS 将基于 DSM-5 的医学知识与大语言模型及嵌入特征结合起来，以从社交媒体帖子中检测抑郁，达到更高的 AUPRC 并提供解释。它在 SWDD 数据集上优于基线。

ABSTRACT

Limited access to mental healthcare resources hinders timely depression diagnosis, leading to detrimental outcomes. Social media platforms present a valuable data source for early detection, yet this task faces two significant challenges: 1) the need for medical knowledge to distinguish clinical depression from transient mood changes, and 2) the dual requirement for high accuracy and model explainability. To address this, we propose DORIS, a framework that leverages Large Language Models (LLMs). To integrate medical knowledge, DORIS utilizes LLMs to annotate user texts against established medical diagnostic criteria and to summarize historical posts into temporal mood courses. These medically-informed features are then used to train an accurate Gradient Boosting Tree (GBT) classifier. Explainability is achieved by generating justifications for predictions based on the LLM-derived symptom annotations and mood course analyses. Extensive experimental results validate the effectiveness as well as interpretability of our method, highlighting its potential as a supportive clinical tool.

研究动机与目标

• 将专业医学知识（DSM-5）整合到一个自动化抑郁检测系统中。
• 利用大语言模型标注抑郁症状并总结情绪历史。
• 将医学知识特征与基于嵌入的表示融合，以实现准确、可解释的预测。
• 展示改进的性能（AUPRC），并提供可解释的结果说明。

提出的方法

• 使用 DSM-5 症状标准创建每条帖子 9 维抑郁症状向量，由 LLM 标注。
• 识别高情绪帖子并通过 LLM 汇总情绪发展描述；进行嵌入并聚合为情绪发展特征。
• 构建三种用户特征：诊断标准（DC）、情绪历程（MC）和帖子历史（PH）。
• 在梯度提升树（GBT）分类器中组合特征以进行最终抑郁预测。
• 通过让 LLM 标注症状与情绪历程并为预测生成解释（T^Exp）来实现可解释性。
• 通过过滤仅对高风险帖子（top-k 相似度）进行注释以减少对 LLM 的使用，从而实现高效注释。

Figure 1: Illustration of depression detection on social media. It aims to determine whether a user has depression based on their history of posts on social media.

实验结果

研究问题

• RQ1 基于 DSM-5 的 LLM 症状注释能否改善社交媒体上的抑郁检测？
• RQ2 对情绪历程和高情绪帖子历史的建模是否能在准确性和可解释性方面超越基于文本的基线？
• RQ3 将医学知识与 LLMs 和传统分类器结合的混合系统是否能超越纯 LLM 或嵌入方法？
• RQ4 选择性注释（k）和情感过滤阈值（m）如何影响性能与效率？
• RQ5 模型的解释（通过 T^Exp）对用户或临床医生是否有用且连贯？

主要发现

• DORIS 在 AUPRC（0.8134）和 AUROC（0.9715）上优于基线。
• DORIS 在 SWDD 数据集的 AUPRC 上比 Mood2Content 高出 0.0360。
• 消融实验表明去除任意组件（DC、MC、PH）都会降低 F1、AUROC 和 AUPRC。
• 基于 LLM 的直接抑郁判断相较于综合方法表现不佳。
• 高效注释（对文本的 20% 进行注释）带来显著的 AUPRC 增益，接近使用全部文本的效果。
• 该系统提供来自情绪历程与症状注释的可解释输出（T^Exp）。

Figure 2: Illustration of DORIS. Through the collaboration of the LLM and the text embedding model, we obtain three key features: depression symptom feature, post history representation, and mood course representation. The classifier uses these three features to make its judgment; the LLM uses annot