[论文解读] Data set creation and empirical analysis for detecting signs of depression from social media postings

S Kayalvizhi, D Thenmozhi|arXiv (Cornell University)|Feb 7, 2022

Mental Health via Writing被引用 18

一句话总结

本文提出了一种新颖的、公开可用的数据集，用于从社交媒体文本中检测三种抑郁程度——'未抑郁'、'中度抑郁' 和 '重度抑郁'，基于 Reddit 帖文。该研究采用传统机器学习模型，并通过 SMOTE 进行数据增强，使用 Word2Vec 嵌入和随机森林分类器，F1 分数和准确率均达到 0.877，显著提升了在数据不平衡情况下的性能。

ABSTRACT

Depression is a common mental illness that has to be detected and treated at an early stage to avoid serious consequences. There are many methods and modalities for detecting depression that involves physical examination of the individual. However, diagnosing mental health using their social media data is more effective as it avoids such physical examinations. Also, people express their emotions well in social media, it is desirable to diagnose their mental health using social media data. Though there are many existing systems that detects mental illness of a person by analysing their social media data, detecting the level of depression is also important for further treatment. Thus, in this research, we developed a gold standard data set that detects the levels of depression as `not depressed', `moderately depressed' and `severely depressed' from the social media postings. Traditional learning algorithms were employed on this data set and an empirical analysis was presented in this paper. Data augmentation technique was applied to overcome the data imbalance. Among the several variations that are implemented, the model with Word2Vec vectorizer and Random Forest classifier on augmented data outperforms the other variations with a score of 0.877 for both accuracy and F1 measure.

研究动机与目标

• 为解决现有研究中仅关注抑郁检测而缺乏对抑郁严重程度分级检测的空白，提出研究目标。
• 创建一个金标准、公开可用的数据集，标注为三种抑郁严重程度：未抑郁、中度抑郁和重度抑郁。
• 对传统机器学习模型在该数据集上的表现进行实证评估，并评估数据增强对模型性能的影响。
• 为未来基于社交媒体数据的计算心理健康研究提供基准。

提出的方法

• 从专注于心理健康的 Reddit 子版块（如 r/depression 和 r/Anxiety）收集社交媒体文本。
• 由领域专家将每篇帖子标注为三类之一：'未抑郁'、'中度抑郁' 或 '重度抑郁'。
• 使用三种嵌入技术提取文本特征：TF-IDF、GloVe 和 Word2Vec。
• 应用合成少数类过采样技术（SMOTE）以平衡数据集，特别是缓解'中度抑郁'类别过度代表的问题。
• 在原始数据和增强数据上训练并评估多种传统分类器，包括随机森林、SVM、KNN、逻辑回归和多层感知机（MLP）。
• 通过 F1 分数和准确率等指标比较模型性能，重点关注数据增强的影响。

实验结果

研究问题

• RQ1 能否通过专家标注的 Reddit 帖文，从社交媒体文本中有效构建一个多分类抑郁严重程度数据集？
• RQ2 当在该新数据集上训练时，传统机器学习模型在分类抑郁严重程度方面的表现如何？
• RQ3 通过 SMOTE 进行数据增强在该不平衡抑郁严重程度数据集上能多大程度提升模型性能？
• RQ4 在该数据集上，哪种文本表示方法（TF-IDF、GloVe、Word2Vec）与给定分类器结合能取得最佳性能？
• RQ5 检测社交媒体文本中抑郁程度的最优模型配置（嵌入方法 + 分类器）是什么？

主要发现

• 使用 Word2Vec 嵌入和随机森林分类器的模型在增强数据集上表现最佳，F1 分数和准确率均达到 0.877。
• 与原始数据上的基线模型相比，使用 SMOTE 进行数据增强使 F1 分数提升 23%，准确率提升 12%。
• 在所测试的分类器中，随机森林表现始终优于其他模型，尤其在数据增强后，取得了最高的 F1 分数 0.877。
• '中度抑郁'类别显著多于其他两类，表明需要采用 SMOTE 等数据平衡技术。
• 使用 Word2Vec 和随机森林的模型展现出良好的鲁棒性和泛化能力，优于使用 TF-IDF 和 GloVe 的模型在同一数据集上的表现。
• 该数据集已公开发布于 GitHub，支持可复现性，并为计算心理健康研究的未来基准测试提供支持。