[论文解读] Benchmarking for Public Health Surveillance tasks on Social Media with a Domain-Specific Pretrained Language Model

Usman Naseem, Byoung Chan Lee+3 more|arXiv (Cornell University)|Apr 9, 2022

Topic Modeling被引用 5

一句话总结

本文提出了 PHS-BERT，一种针对健康相关社交媒体文本进行微调的领域特定预训练语言模型，旨在提升公共卫生监测（PHS）任务的性能。该模型在来自多个平台的用户生成内容上进行训练，在涵盖7项 PHS 任务的25个数据集上实现了最先进（SOTA）性能，相较于通用和生物医学 PLM，在自杀意念任务上提升最高达18.45%，在各项任务上的平均提升达11.82%。

ABSTRACT

A user-generated text on social media enables health workers to keep track of information, identify possible outbreaks, forecast disease trends, monitor emergency cases, and ascertain disease awareness and response to official health correspondence. This exchange of health information on social media has been regarded as an attempt to enhance public health surveillance (PHS). Despite its potential, the technology is still in its early stages and is not ready for widespread application. Advancements in pretrained language models (PLMs) have facilitated the development of several domain-specific PLMs and a variety of downstream applications. However, there are no PLMs for social media tasks involving PHS. We present and release PHS-BERT, a transformer-based PLM, to identify tasks related to public health surveillance on social media. We compared and benchmarked the performance of PHS-BERT on 25 datasets from different social medial platforms related to 7 different PHS tasks. Compared with existing PLMs that are mainly evaluated on limited tasks, PHS-BERT achieved state-of-the-art performance on all 25 tested datasets, showing that our PLM is robust and generalizable in the common PHS tasks. By making PHS-BERT available, we aim to facilitate the community to reduce the computational cost and introduce new baselines for future works across various PHS-related tasks.

研究动机与目标

• 解决社交媒体公共卫生监测（PHS）任务中缺乏领域特定预训练语言模型（PLM）的问题。
• 开发一种在社交媒体平台健康相关用户生成内容上专门训练的稳健且可泛化的 PLM。
• 在多样化的 PHS 任务和数据集上基准测试所提出模型的性能，以验证其相对于现有 SOTA 模型的优越性。
• 公开发布 PHS-BERT，以降低计算成本，并为未来 PHS 相关自然语言处理任务的研究建立新基准。

提出的方法

• 在从多个平台收集的、大规模且经过筛选的健康相关社交媒体文本语料上，预训练基于 Transformer 的 BERT 模型。
• 在涵盖7项不同 PHS 任务（包括抑郁检测、疫苗情绪分析和疾病暴发监测）的25个多样化下游分类数据集上，对预训练的 PHS-BERT 模型进行微调。
• 采用标准的 NLP 微调协议，使用交叉熵损失和早停法，以在每个任务上实现最优性能。
• 在全部25个数据集上，将 PHS-BERT 的性能与多种 SOTA PLM（包括 BERT、BioBERT、BERTweet、CT-BERT 和 MentalBERT）进行比较。
• 使用标准化的评估指标（如 F1 分数、精确率、召回率和准确率），以确保基准测试的一致性与可靠性。
• 在 Hugging Face 上发布训练好的 PHS-BERT 模型，以确保可复现性并促进社区采纳。

实验结果

研究问题

• RQ1 在健康相关社交媒体文本上预训练的领域特定 PLM 是否能在公共卫生监测任务上超越通用和生物医学 PLM？
• RQ2 PHS-BERT 在多样化的社交媒体平台以及各类 PHS 任务（如抑郁检测、疫苗情绪分析和暴发监测）中的泛化能力如何？
• RQ3 在多个数据集和任务上，PHS-BERT 相较于现有 SOTA 模型（如 BERT、CT-BERT 和 BioBERT）的性能提升程度如何？
• RQ4 与通用或生物医学预训练相比，基于领域特定社交媒体数据进行预训练在多大程度上提升了下游分类性能？
• RQ5 PHS-BERT 是否在不同类型 PHS 任务中均保持优越性能，包括急性疾病（如暴发）和慢性疾病（如心理健康）相关任务？

主要发现

• PHS-BERT 在全部25个测试数据集上，涵盖7项不同公共卫生监测任务，均实现了最先进性能，展现出其稳健性与泛化能力。
• 在自杀意念任务中，PHS-BERT 相较 BERT 的 F1 分数提升 18.45%，相较第二佳模型提升 12.79%。
• 在抑郁检测任务中，PHS-BERT 相较 BERT 的平均 F1 分数提升 6.03%，相较第二佳模型提升 2.76%。
• 在疫苗情绪分析任务中，PHS-BERT 超越所有基线模型，相较 BERT 的平均 F1 分数提升 7.70%，相较第二佳模型提升 0.34%。
• 在所有任务的平均表现中，PHS-BERT 相较 BERT 的 F1 分数提升 11.82%，相较第二佳模型提升 4.71%。
• PHS-BERT 在多项任务中显著优于 CT-BERT 和 MentalBERT 等领域特定模型，表明在专为健康焦点设计的社交媒体语料上进行训练具有显著优势。