[论文解读] A Novel Sentiment Analysis Engine for Preliminary Depression Status Estimation on Social Media

Sudhir Kumar Suman, Hrithwik Shalu+3 more|arXiv (Cornell University)|Nov 29, 2020

Mental Health via Writing参考文献 17被引用 10

一句话总结

该论文提出了一种基于云的智能手机应用程序，采用基于RoBERTa的孪生句向量分类器，将用户推文与动态更新的已标注情感标准语料库进行对比，以检测Twitter上的抑郁语言。该模型在测试中达到87.23%的准确率和0.8621的AUC，表明其在通过语义相似性匹配而非传统分类方法进行初步抑郁状态估计方面表现出稳健性能。

ABSTRACT

Text sentiment analysis for preliminary depression status estimation of users on social media is a widely exercised and feasible method, However, the immense variety of users accessing the social media websites and their ample mix of vocabularies makes it difficult for commonly applied deep learning-based classifiers to perform. To add to the situation, the lack of adaptability of traditional supervised machine learning could hurt at many levels. We propose a cloud-based smartphone application, with a deep learning-based backend to primarily perform depression detection on Twitter social media. The backend model consists of a RoBERTa based siamese sentence classifier that compares a given tweet (Query) with a labeled set of tweets with known sentiment ( Standard Corpus ). The standard corpus is varied over time with expert opinion so as to improve the model's reliability. A psychologist ( with the patient's permission ) could leverage the application to assess the patient's depression status prior to counseling, which provides better insight into the mental health status of a patient. In addition, to the same, the psychologist could be referred to cases of similar characteristics, which could in turn help in more effective treatment. We evaluate our backend model after fine-tuning it on a publicly available dataset. The find tuned model is made to predict depression on a large set of tweet samples with random noise factors. The model achieved pinnacle results, with a testing accuracy of 87.23% and an AUC of 0.8621.

研究动机与目标

• 解决在传统NLP模型缺乏适应性且语言多样性显著的背景下，检测社交媒体用户抑郁情绪的挑战。
• 通过实时社交媒体分析，使心理学家能够在咨询前评估患者心理健康状况，从而提升早期抑郁检测效率。
• 通过基于与已标注案例相似性的患者优先级排序，提升心理健康医疗服务效率。
• 开发一种可扩展的基于云的移动应用程序，利用微调的Transformer模型实现端到端、可靠的实时抑郁筛查。

提出的方法

• 使用基于RoBERTa的孪生句编码器，计算用户推文（查询）与已知情感标签的标准推文语料库之间的语义相似度。
• 模型在包含二元标签（正面/负面）的公开Twitter情感数据集上进行微调，并在保留的测试集上进行严格测试。
• 采用语义搜索算法，基于潜在嵌入空间中的余弦相似度，从标准语料库中检索最相似的推文。
• 标准语料库定期通过专家验证的标签进行更新，以提升模型的可靠性和长期适应性。
• 利用RoBERTa的迁移学习能力，捕捉非正式社交媒体语言中的细微语言模式。
• 推理流程处理未经校正的原始推文，计算相似度分数时未进行拼写纠正，以保留真实世界中的语言多样性。

实验结果

研究问题

• RQ1 在语言变异性存在的情况下，孪生句向量模型能否有效检测社交媒体文本中的抑郁情绪？
• RQ2 基于语义比较的方法在Twitter抑郁检测中的表现，与传统监督分类方法相比如何？
• RQ3 动态且经专家验证的标准语料库在多大程度上能提升抑郁检测模型的可靠性和适应性？
• RQ4 该模型能否通过帮助心理学家识别具有相似抑郁特征的患者，支持临床工作流程，实现更有效的治疗规划？

主要发现

• 模型在测试中达到87.23%的准确率，95%置信区间为±0.1855，表明其具有高精度和稳定性。
• 模型AUC达到0.8621，表明其在区分抑郁与非抑郁语言方面具有强大的判别能力。
• 匹配度最高的抑郁推文余弦相似度达0.7431，显著高于正面情感语料库的平均相似度（0.1138），证实了情感类别间有效分离。
• 该方法对噪声和非正式语言具有鲁棒性，因为在推理过程中未进行拼写纠正。
• 在多个测试案例中，抑郁查询与正面语料库之间的语义相似度差距始终保持显著，验证了模型识别细微情感线索的能力。
• 该系统通过识别具有相似语言和情感特征的病例，实现可扩展的实时患者分诊，支持高效的心理健康服务资源分配。