[论文解读] Multi Class Depression Detection Through Tweets using Artificial Intelligence

Muhammad Osama Nusrat, Waseem Shahzad+1 more|arXiv (Cornell University)|Apr 19, 2024

Brain Tumor Detection and ClassificationNeuroscience被引用 3

一句话总结

本研究提出了一种基于 BERT 和可解释人工智能（XAI）的多类别抑郁检测系统，用于从 Twitter 推文中分类五类抑郁——双相障碍、重度抑郁、精神病性抑郁、非典型抑郁和产后抑郁。通过基于词典的标注和微调后的 BERT 模型，该模型实现了 96% 的准确率，可解释人工智能技术突出了推文中关键的抑郁语言，增强了模型的可解释性。

ABSTRACT

Depression is a significant issue nowadays. As per the World Health Organization (WHO), in 2023, over 280 million individuals are grappling with depression. This is a huge number; if not taken seriously, these numbers will increase rapidly. About 4.89 billion individuals are social media users. People express their feelings and emotions on platforms like Twitter, Facebook, Reddit, Instagram, etc. These platforms contain valuable information which can be used for research purposes. Considerable research has been conducted across various social media platforms. However, certain limitations persist in these endeavors. Particularly, previous studies were only focused on detecting depression and the intensity of depression in tweets. Also, there existed inaccuracies in dataset labeling. In this research work, five types of depression (Bipolar, major, psychotic, atypical, and postpartum) were predicted using tweets from the Twitter database based on lexicon labeling. Explainable AI was used to provide reasoning by highlighting the parts of tweets that represent type of depression. Bidirectional Encoder Representations from Transformers (BERT) was used for feature extraction and training. Machine learning and deep learning methodologies were used to train the model. The BERT model presented the most promising results, achieving an overall accuracy of 0.96.

研究动机与目标

• 为解决社交媒体上多类别抑郁检测的空白，通过 Twitter 数据对五类不同的抑郁类型进行分类。
• 通过结合 BERT 与可解释人工智能（XAI）技术，提高抑郁检测的准确率和可解释性。
• 构建一个全新的、公开可用的约 23,000 条标注推文的数据集，用于多类别抑郁分类。
• 通过实现细粒度分类，克服先前单类别或二元抑郁检测模型的局限性。
• 通过 LIME 和 SHAP 等技术实现模型可解释性，为抑郁语言模式提供可操作的洞察。

提出的方法

• 收集并整理了约 23,000 条 Twitter 推文，依据临床标准并经专家验证，人工标注五类抑郁类型。
• 应用基于词典的标注方法，对推文进行初步标注，以实现初始的抑郁类型分类。
• 在多类别抑郁数据集上对 BERT 模型进行微调，用于序列分类任务。
• 训练并比较多种机器学习模型（如随机森林）和深度学习模型（如 BERT）的分类性能。
• 采用 LIME 和 SHAP 实现可解释人工智能（XAI），突出显示推文中对分类决策有贡献的特定词语或短语。
• 在 BERT 中使用文本预处理、序列标记化和注意力机制，以提取上下文相关的表示用于分类。

实验结果

研究问题

• RQ1 像 BERT 这类深度学习模型能否有效从短篇、非正式的 Twitter 文本中对五类不同的抑郁类型进行分类？
• RQ2 在社交媒体上的多类别抑郁检测中，BERT 的性能与传统机器学习模型（如随机森林）相比如何？
• RQ3 可解释人工智能（XAI）技术（如 LIME 和 SHAP）在多大程度上能为抑郁类型预测提供可解释且有意义的解释？
• RQ4 模型识别出的最能指示特定抑郁类型的推文中，关键的语言标记是什么？
• RQ5 数据集质量和标注一致性在多大程度上影响抑郁检测模型的可靠性和泛化能力？

主要发现

• 基于 BERT 的模型在从推文中分类五类抑郁方面实现了 96% 的最高总体准确率。
• 随机森林分类器表现第二，准确率为 94.7%，显示出传统机器学习模型的强劲性能。
• 可解释人工智能技术（LIME 和 SHAP）成功突出了如 'bipolar' 和 'disorder' 等词语，这些词语对双相障碍的预测有显著贡献。
• 模型的可解释性使临床医生和研究人员能够通过追溯文本中的特定语言线索来验证预测结果。
• 本研究识别出各类抑郁类型之间的共享语言特征，表明症状表达存在重叠，这给细粒度分类带来了挑战。
• 尽管数据集规模有限（约 23,000 条推文），该模型仍展现出较高的泛化潜力，尤其在重度抑郁和产后抑郁方面。