[论文解读] Detecting Adverse Drug Reactions from Twitter through Domain-Specific Preprocessing and BERT Ensembling

Amy Breden, Lee E. Moore|arXiv (Cornell University)|May 11, 2020

Computational Drug Discovery Methods被引用 5

一句话总结

本论文提出一种基于 BERT 的集成模型，并结合领域特定的预处理方法，以提升 Twitter 中不良药物反应（ADR）的检测效果。通过微调 BERT LARGE、BioBERT 和 ClinicalBERT 模型，应用自定义预处理器（包括药物标准化），并采用最大预测值集成策略，该模型在 SMM4H 2019 基准测试中取得了最先进的 F1 分数（0.6681）和召回率（0.7700），优于所有 SMM4H 2019 的参赛提交结果及截至 2020 年 3 月 21 日的后续评估条目。

ABSTRACT

The automation of adverse drug reaction (ADR) detection in social media would revolutionize the practice of pharmacovigilance, supporting drug regulators, the pharmaceutical industry and the general public in ensuring the safety of the drugs prescribed in daily practice. Following from the published proceedings of the Social Media Mining for Health (SMM4H) Applications Workshop & Shared Task in August 2019, we aimed to develop a deep learning model to classify ADRs within Twitter tweets that contain drug mentions. Our approach involved fine-tuning $BERT_{LARGE}$ and two domain-specific BERT implementations, $BioBERT$ and $Bio + clinicalBERT$, applying a domain-specific preprocessor, and developing a max-prediction ensembling approach. Our final model resulted in state-of-the-art performance on both $F_1$-score (0.6681) and recall (0.7700) outperforming all models submitted in SMM4H 2019 and during post-evaluation to date.

研究动机与目标

• 提升社交媒体平台（尤其是 Twitter）中不良药物反应（ADR）的检测效果，其中 ADR 的提及较为稀少，且常被非正式语言所掩盖。
• 通过优先考虑召回率而非精确率，应对 ADR 检测中召回率低的挑战，因为识别出所有真实 ADR 具有重要的公共卫生价值。
• 通过领域特定的预处理（尤其是药物名称标准化）以及集成多个 BERT 变体，提升模型性能。
• 证明即使使用最先进的 BERT 模型，简单的预处理技术也能显著提升性能。
• 为实时药物警戒提供一种稳健且高召回率的解决方案，利用社交媒体数据。

提出的方法

• 微调了三种基于 BERT 的模型：BERT LARGE（不区分大小写）、BioBERT（在生物医学语料上预训练）和 ClinicalBERT（从 BioBERT 微调得到，用于临床记录）。
• 应用了一种领域特定的预处理器，对 URL 进行匿名化处理，移除标签符号，转换为小写，并将药物品牌名称标准化为通用名称。
• 采用五折交叉验证策略，结合早停法和初始值学习率调度，训练每个模型。
• 实施了一种集成策略：通过平均法将每个 BERT 变体的五个独立训练模型进行集成，随后对三种模型类型进行最大预测值集成，以最大化召回率。
• 为避免过拟合，选择固定阈值 0.5 进行分类，尽管初步实验表明更低的阈值可能提升指标。
• 使用标准 NLP 指标评估模型，重点关注 F1 分数和召回率，因为该任务强调识别所有真实 ADR。

实验结果

研究问题

• RQ1 领域特定的预处理（尤其是药物名称标准化）是否能提升社交媒体文本中 ADR 检测的性能？
• RQ2 集成多个 BERT 变体（通用领域、生物医学和临床）是否能优于单个模型在 ADR 分类任务中的表现？
• RQ3 在 ADR 检测中，简单的预处理器是否能在召回率和 F1 分数上超越更复杂的微调策略？
• RQ4 在 SMM4H 2019 语料库这类小样本、类别不平衡的数据集上微调 BERT 时，模型方差在性能上产生何种影响？
• RQ5 药物标准化在多大程度上能增强 BERT 模型在 ADR 检测中的分词与表征学习能力？

主要发现

• 最终的集成模型取得了 0.6681 的 F1 分数和 0.7700 的召回率，优于 SMM4H 2019 共享任务中所有提交的模型，以及截至 2020 年 3 月 21 日评估平台上的所有后续条目。
• 药物标准化模块是预处理器中最具影响力的组件，使 BioBERT 和 ClinicalBERT 的 F1 分数和召回率分别提升了 2.4% 至 10.9%，原因在于对通用药物名称的分词效果更优。
• 使用相同预处理器的 BERT LARGE 模型性能与 SMM4H 2019 冠军队模型相当，后者在 150 万条推文语料上重新训练了 BERT，这表明仅靠预处理即可实现显著性能提升。
• 通过平均法将每个 BERT 变体的五个独立训练模型进行集成，有效降低了方差并提升了鲁棒性，缓解了在小数据集上微调 BERT 时的固有不稳定性。
• 模型预测的标准差在各次运行中均保持在约 0.01 左右，表明由于数据稀缺和类别不平衡，方差持续存在，这是 BERT 微调中的已知挑战。
• 对三种模型类型（BERT LARGE、BioBERT、ClinicalBERT）进行最大预测值集成，有效捕捉了互补的预测结果，在不损失精确率的前提下最大化了召回率。