[论文解读] Calibration of Transformer-based Models for Identifying Stress and Depression in Social Media

Loukas Ilias, Spiros Mouzakitis+1 more|arXiv (Cornell University)|May 26, 2023

Mental Health via Writing被引用 4

一句话总结

本论文提出了一种新方法，通过在 BERT 和 MentalBERT 中注入语言学特征（如 LIWC、NRC、LDA 主题（GOSS）以及 Top2Vec）并结合多模态适配门机制，以提升社交媒体中文本中的压力与抑郁检测性能，同时应用标签平滑技术以增强模型校准。实验结果表明，性能显著提升，尤其在 LIWC 和 GOSS 特征下效果突出，且标签平滑在三个数据集上均提升了准确率与校准性能。

ABSTRACT

In today's fast-paced world, the rates of stress and depression present a surge. Social media provide assistance for the early detection of mental health conditions. Existing methods mainly introduce feature extraction approaches and train shallow machine learning classifiers. Other researches use deep neural networks or transformers. Despite the fact that transformer-based models achieve noticeable improvements, they cannot often capture rich factual knowledge. Although there have been proposed a number of studies aiming to enhance the pretrained transformer-based models with extra information or additional modalities, no prior work has exploited these modifications for detecting stress and depression through social media. In addition, although the reliability of a machine learning model's confidence in its predictions is critical for high-risk applications, there is no prior work taken into consideration the model calibration. To resolve the above issues, we present the first study in the task of depression and stress detection in social media, which injects extra linguistic information in transformer-based models, namely BERT and MentalBERT. Specifically, the proposed approach employs a Multimodal Adaptation Gate for creating the combined embeddings, which are given as input to a BERT (or MentalBERT) model. For taking into account the model calibration, we apply label smoothing. We test our proposed approaches in three publicly available datasets and demonstrate that the integration of linguistic features into transformer-based models presents a surge in the performance. Also, the usage of label smoothing contributes to both the improvement of the model's performance and the calibration of the model. We finally perform a linguistic analysis of the posts and show differences in language between stressful and non-stressful texts, as well as depressive and non-depressive posts.

研究动机与目标

• 为解决心理健康检测模型中可靠置信度估计的缺失问题，通过标签平滑实现模型校准。
• 通过引入外部语言学特征，提升基于 Transformer 的模型（BERT、MentalBERT）在社交媒体中文本中检测压力与抑郁的能力。
• 通过特征分析，探究抑郁/压力与非抑郁/非压力文本之间的语言学差异。
• 探索使用全局离群值标准得分（GOSS）捕捉抑郁/压力检测中主题兴趣的潜力。
• 开发一种基于多模态适配门的多模态融合机制，以动态调节 Transformer 与语言学表征的贡献权重。

提出的方法

• 为每条社交媒体文本提取多种语言学特征：LIWC、NRC 情感词典、Top2Vec 嵌入向量以及基于 LDA 的 GOSS 特征。
• 通过可学习的线性投影将所有语言学特征映射到与 BERT/MentalBERT 输出相同的嵌入空间。
• 将投影后的语言学特征与 BERT/MentalBERT 的 [CLS] token 表征拼接，形成统一输入。
• 应用具有可学习注意力权重的多模态适配门，动态控制各模态（Transformer 与语言学特征）的贡献。
• 使用标签平滑对联合模型进行微调，以同时提升分类性能与预测校准性。
• 通过期望校准误差（ECE）与自适应校准误差（Adaptive ECE）评估模型校准性能。

实验结果

研究问题

• RQ1 将语言学特征注入 BERT 与 MentalBERT 是否能提升社交媒体文本中压力与抑郁的检测性能？
• RQ2 标签平滑是否能同时提升基于 Transformer 的模型在心理健康检测中的分类性能与校准性？
• RQ3 哪些语言学特征类型（如 LIWC、NRC、GOSS）对模型性能提升贡献最大？
• RQ4 抑郁与压力文本的语言学模式与非抑郁及非压力文本有何差异？
• RQ5 与简单拼接相比，多模态适配门在特征融合方面能多大程度上提升性能？

主要发现

• 在 MentalBERT 中注入 LIWC 特征并结合标签平滑，F1 分数相比标准 MentalBERT 提升 3.36%，相比未使用标签平滑的 M-MentalBERT（LIWC）提升 0.63%。
• 在 Depression_Mixed 数据集上，使用 Top2Vec 特征与 BERT 及标签平滑的组合实现了最高的 F1 分数与准确率。
• 在 Dreaddit 数据集上，LIWC 特征结合标签平滑在所有配置中均达到最高的 F1 分数与准确率。
• 在 Depression_Severity 数据集上，NRC 特征与 BERT 组合，以及 GOSS 特征与 MentalBERT 组合，分别实现了最高的加权 F1 分数。
• 语言学分析显示，抑郁与压力文本与特定 LIWC 类别（如负面情绪与认知过程）存在强烈相关性。
• 标签平滑显著改善了模型校准性，所有数据集上的期望校准误差（ECE）与自适应校准误差（Adaptive ECE）均显著降低。