[论文解读] Early Risk Detection of Pathological Gambling, Self-Harm and Depression Using BERT

Ana-Maria Bucur, Adrian Cosma+1 more|arXiv (Cornell University)|Jun 30, 2021

Mental Health via Writing参考文献 33被引用 17

一句话总结

本论文提出了一种基于 BERT 的方法，利用 Reddit 社交媒体文本对病态赌博、自伤行为及抑郁严重程度进行早期风险检测。通过使用微调后的 BERT 模型结合对比学习，将用户帖子与问卷答案对齐，BLUE 团队在任务 3（抑郁严重程度）中取得了最先进性能，AHR 得分为 30.36%，证明了语义相似性学习在弱监督心理健康筛查中的有效性。

ABSTRACT

Early risk detection of mental illnesses has a massive positive impact upon the well-being of people. The eRisk workshop has been at the forefront of enabling interdisciplinary research in developing computational methods to automatically estimate early risk factors for mental issues such as depression, self-harm, anorexia and pathological gambling. In this paper, we present the contributions of the BLUE team in the 2021 edition of the workshop, in which we tackle the problems of early detection of gambling addiction, self-harm and estimating depression severity from social media posts. We employ pre-trained BERT transformers and data crawled automatically from mental health subreddits and obtain reasonable results on all three tasks.

研究动机与目标

• 开发计算方法，利用社交媒体文本实现心理健康风险的早期检测。
• 通过迁移学习与弱监督，解决心理健康 NLP 中标注数据有限的挑战。
• 通过建模用户帖子与问卷答案之间的语义相似性，改进抑郁严重程度的估计。
• 通过从心理健康子版块获取数据增强，提升病态赌博与自伤行为的检测能力。
• 通过实现可扩展、自动化的风险筛查，推动真实世界中的早期干预。

提出的方法

• 微调 BERT 模型，对 21 个贝克抑郁量表（BDI）问题的 4 种回答选项进行分类。
• 通过计算用户帖子嵌入与答案文本嵌入之间的点积相似度，采用对比学习提升语义对齐。
• 构建多头架构，联合预测回答选项与抑郁严重程度评分（轻度/中度/重度）。
• 使用 AdamW 优化器，分类任务学习率为 0.0002，相似性学习任务为 0.00002，训练 2 个周期。
• 通过爬取与赌博及自伤相关的 Reddit 子版块，扩充训练数据，提升模型泛化能力。
• 推理阶段，对每位个体的所有用户帖子，选择概率最高的回答，以应对噪声或稀疏输入。

实验结果

研究问题

• RQ1 基于 BERT 的模型能否有效从非结构化社交媒体文本中检测病态赌博的早期迹象？
• RQ2 用户帖子与标准化问卷答案之间的语义相似性，如何改善抑郁严重程度的估计？
• RQ3 在存在噪声与稀疏数据的弱监督心理健康风险检测中，对比学习是否能提升性能？
• RQ4 从心理健康子版块进行数据增强，能否提升模型在自伤与赌博检测任务中的表现？
• RQ5 不同 BERT 微调策略——分类、联合预测或相似性学习——在抑郁筛查中的相对表现如何？

主要发现

• 相似性学习方法（运行 2）在任务 3 中表现最佳，AHR 得分为 30.36%，优于纯分类与集成方法。
• 表现最佳的模型（运行 2）获得 75.42% 的 ADODL 得分，表明与真实答案具有强对齐性。
• 集成方法（运行 3 和 4）略有提升，但未超越独立的相似性学习模型。
• 模型在低资源环境下表现出鲁棒性，在自伤检测任务中达到 65.42% 的 ACR 与 75.42% 的 ADODL。
• 使用基于 Reddit 的数据增强提升了模型泛化能力，尤其在病态赌博与自伤检测中效果显著。
• 对比学习通过利用答案表述的语义意义，显著提升性能，证明在噪声环境中优于标准分类方法。