[论文解读] Detection and Classification of mental illnesses on social media using RoBERTa

Ankit Murarka, Balaji Radhakrishnan+1 more|arXiv (Cornell University)|Nov 23, 2020

Mental Health via Writing被引用 35

一句话总结

本文提出一个基于 RoBERTa 的多类分类器，从 Reddit 帖子中检测并对五种心理疾病（抑郁、焦虑、双相情感障碍、 ADHD、 PTSD）以及一个 None 类进行分类，并引入一个具有行为学测试的新数据集。

ABSTRACT

Given the current social distancing regulations across the world, social media has become the primary mode of communication for most people. This has resulted in the isolation of many people suffering from mental illnesses who are unable to receive assistance in person. They have increasingly turned to social media to express themselves and to look for guidance in dealing with their illnesses. Keeping this in mind, we propose a solution to detect and classify mental illness posts on social media thereby enabling users to seek appropriate help. In this work, we detect and classify five prominent kinds of mental illnesses: depression, anxiety, bipolar disorder, ADHD and PTSD by analyzing unstructured user data on social media platforms. In addition, we are sharing a new high-quality dataset to drive research on this topic. We believe that our work is the first multi-class model that uses a Transformer-based architecture such as RoBERTa to analyze people's emotions and psychology. We also demonstrate how we stress-test our model using behavioral testing. With this research, we hope to be able to contribute to the public health system by automating some of the detection and classification process.

研究动机与目标

• 推动在社交媒体上自动检测心理疾病，以帮助公共卫生，特别是在社交距离期间。
• 从 Reddit 帖子中创建高质量、带标签的数据集，覆盖心理疾病和无类别。
• 开发并比较基于变换器的分类器（RoBERTa、BERT）与 LSTM 基线在多类心理疾病分类任务中的表现。
• 通过行为测试和按类别分析性能来演示模型的鲁棒性。

提出的方法

• 构建一个多类 RoBERTa 分类器，将帖子（及标题）标注为五种心理疾病和一个 None 类。
• 将 RoBERTa 与 LSTM 和 BERT 基线进行比较，以确立性能提升。
• 对 RoBERTa 进行微调，使用帖子、标题以及帖子-标题对，序列长度分别为 512 和 35 个标记。
• 使用精确度、召回率、F1 和准确度进行评估；分析按类别的表现和混淆模式。
• 进行行为测试（同义词替换、掩蔽）以评估模型对输入扰动的鲁棒性。

实验结果

研究问题

• RQ1 基于 RoBERTa 的模型是否能在社交媒体帖子中准确检测并区分抑郁、焦虑、双相障碍、ADHD、PTSD 和 None？
• RQ2 在此多类心理疾病分类任务中，RoBERTa 与 LSTM 和 BERT 基线相比的表现如何？
• RQ3 仅使用帖子、仅使用标题或两者结合对分类性能的影响是什么？
• RQ4 RoBERTa 模型对输入扰动和标签相关扰动（行为测试）的鲁棒性如何？

主要发现

• RoBERTa 的表现优于 LSTM，并且接近 BERT，在 F1 和准确度上实现更高的分数，特别是在使用帖子+标题输入时。
• 在最佳配置下，RoBERTa 在帖子上的 F1 为 0.86，在帖子+标题上的 F1 为 0.89。
• 仅从标题就能高精度检测到 None 类（F1>0.97），表明非疾病帖子的误报率较低。
• ADHD 和 PTSD 是表现最好的疾病类别之一，而抑郁和焦虑由于数据特征和标签混淆而相对较弱。
• 行为测试表明模型在一定程度上依赖类别标签的词根形式，但在同义词替换和掩蔽扰动下仍保持合理的性能。