[论文解读] Detecting Reddit Users with Depression Using a Hybrid Neural Network SBERT-CNN

Ziyi Chen, Ren Yang+4 more|arXiv (Cornell University)|Feb 3, 2023

Mental Health via Writing参考文献 42被引用 6

一句话总结

本文提出了一种混合 SBERT-CNN 神经网络，利用用户自报的心理健康数据检测 Reddit 用户的抑郁症状。通过结合 SBERT 生成的句子嵌入与基于 CNN 的时序模式学习，该模型实现了 86% 的准确率和 86% 的 F1 分数，优于先前的最先进方法。

ABSTRACT

Depression is a widespread mental health issue, affecting an estimated 3.8% of the global population. It is also one of the main contributors to disability worldwide. Recently it is becoming popular for individuals to use social media platforms (e.g., Reddit) to express their difficulties and health issues (e.g., depression) and seek support from other users in online communities. It opens great opportunities to automatically identify social media users with depression by parsing millions of posts for potential interventions. Deep learning methods have begun to dominate in the field of machine learning and natural language processing (NLP) because of their ease of use, efficient processing, and state-of-the-art results on many NLP tasks. In this work, we propose a hybrid deep learning model which combines a pretrained sentence BERT (SBERT) and convolutional neural network (CNN) to detect individuals with depression with their Reddit posts. The sentence BERT is used to learn the meaningful representation of semantic information in each post. CNN enables the further transformation of those embeddings and the temporal identification of behavioral patterns of users. We trained and evaluated the model performance to identify Reddit users with depression by utilizing the Self-reported Mental Health Diagnoses (SMHD) data. The hybrid deep learning model achieved an accuracy of 0.86 and an F1 score of 0.86 and outperformed the state-of-the-art documented result (F1 score of 0.79) by other machine learning models in the literature. The results show the feasibility of the hybrid model to identify individuals with depression. Although the hybrid model is validated to detect depression with Reddit posts, it can be easily tuned and applied to other text classification tasks and different clinical applications.

研究动机与目标

• 开发一种深度学习模型，能够基于用户的 Reddit 帖子识别出抑郁个体。
• 改进现有机器学习模型在从社交媒体文本中检测抑郁方面的表现。
• 探索结合 SBERT 进行语义表征与 CNN 进行序列行为模式检测的有效性。
• 在自报心理疾病诊断（SMHD）数据集上验证模型，以确保其在现实世界中的适用性。
• 展示该模型在临床 NLP 和文本分类任务中的广泛应用潜力。

提出的方法

• 该模型使用预训练的句子 BERT（SBERT）编码器，从单个 Reddit 帖子中生成上下文相关的句子嵌入。
• 这些 SBERT 嵌入随后输入卷积神经网络（CNN），以提取用户发帖行为中的局部序列模式。
• CNN 使用不同大小的卷积核，捕捉嵌入序列中的 n-gram 级特征，从而实现时序模式识别。
• 最终的分类头采用全局最大池化和全连接层，从池化后的特征中预测抑郁状态。
• 该模型在 SMHD 数据集上通过二元交叉熵损失和 Adam 优化器进行端到端训练。
• 通过网格搜索调整超参数，模型性能使用标准 NLP 指标（包括 F1 分数和准确率）进行评估。

实验结果

研究问题

• RQ1 基于用户的文本帖子，混合 SBERT-CNN 模型能否有效检测 Reddit 用户的抑郁症状？
• RQ2 SBERT-CNN 模型在从社交媒体中检测抑郁方面的性能与现有最先进模型相比如何？
• RQ3 语义表征（SBERT）与序列模式学习（CNN）的结合在多大程度上提升了检测准确率？
• RQ4 所提出的模型是否具备泛化能力，适用于其他临床 NLP 中的文本分类任务？

主要发现

• 混合 SBERT-CNN 模型在 SMHD 数据集上实现了 86% 的准确率，表现出强大的预测性能。
• 该模型获得了 86% 的 F1 分数，显著优于先前最先进结果的 79%。
• SBERT 用于语义表征与 CNN 用于序列特征学习的结合，增强了模型的鲁棒性与检测能力。
• 模型性能表明其在社交媒体上实现早期抑郁检测的现实部署具有高度可行性。
• 该架构具有可适应性，可针对抑郁检测之外的其他临床 NLP 任务进行微调。