[论文解读] MentalBERT: Publicly Available Pretrained Language Models for Mental Healthcare
这篇论文在心理健康Reddit数据上训练并发布MentalBERT和MentalRoBERTa，然后在多项心理健康检测任务上对它们进行评估，显示领域特定的预训练可提升性能。
Mental health is a critical issue in modern society, and mental disorders could sometimes turn to suicidal ideation without adequate treatment. Early detection of mental disorders and suicidal ideation from social content provides a potential way for effective social intervention. Recent advances in pretrained contextualized language representations have promoted the development of several domain-specific pretrained models and facilitated several downstream applications. However, there are no existing pretrained language models for mental healthcare. This paper trains and release two pretrained masked language models, i.e., MentalBERT and MentalRoBERTa, to benefit machine learning for the mental healthcare research community. Besides, we evaluate our trained domain-specific models and several variants of pretrained language models on several mental disorder detection benchmarks and demonstrate that language representations pretrained in the target domain improve the performance of mental health detection tasks.
研究动机与目标
- 阐明在心理健康领域需要领域特定语言模型的原因。
- 向研究社区提供公开可用的预训练模型。
- 证明在心理健康数据上的持续预训练可以提升下游分类性能。
- 在跨平台的多样化心理健康检测基准上评估模型。
提出的方法
- 从通用领域检查点出发，通过在心理健康 Reddit 语料库上的持续预训练来适应 BERT 和 RoBERTa。
- 对 MentalRoBERTa 使用带动态掩蔽的掩码语言建模，而对 MentalBERT 使用基础的 BERT。
- 使用 [CLS] 向量嵌入和 MLP 分类器对预训练模型进行下游任务微调。
- 在覆盖抑郁、焦虑、压力和自杀意念的多个人心理健康数据集上评估模型。
实验结果
研究问题
- RQ1面向心理健康领域的领域特定预训练模型是否在心理健康检测任务上优于通用领域预训练模型？
- RQ2针对心理健康任务，继续在心理健康语料库上的预训练是否比来自其他领域（如生物医学/临床）的领域自适应预训练更有效？
- RQ3MentalBERT 和 MentalRoBERTa 在不同数据集和平台（Reddit、Twitter、短信等数据）上对各种心理障碍的表现如何？
主要发现
- MentalRoBERTa 在抑郁数据集（eRisk T1 和 CLPsych）以及若干其他疾病数据集（T-SID、SWMH、SAD、Dreaddit）常常取得最佳结果。
- MentalBERT 具有竞争力，在 Depression_Reddit 数据集和某些设置下的 UMD 数据集的 F1 取得最佳。
- 在心理健康数据上的领域特定预训练通常比通用领域模型有更好表现，有时甚至优于生物医学/临床领域的预训练。
- 在心理健康领域的持续预训练在多项任务中提升下游分类性能。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。