[论文解读] Enhancing Pharmacovigilance with Drug Reviews and Social Media

Brent Biseda, Katie Mo|arXiv (Cornell University)|Apr 18, 2020

Pharmacovigilance and Adverse Drug Reactions被引用 10

一句话总结

本文研究了利用药物评论和社交媒体作为药物警戒的替代数据源，通过在三个与不良药物反应（ADR）相关的任务上微调基于BERT的模型：药物评论的情感分类、推文中的ADR检测以及ADR命名实体识别。基于BERT的模型，尤其是BioBERT和临床BERT变体，在所有任务中均表现出高精度，证明其在从非结构化患者生成文本中识别不良药物反应方面的有效性。

ABSTRACT

This paper explores whether the use of drug reviews and social media could be leveraged as potential alternative sources for pharmacovigilance of adverse drug reactions (ADRs). We examined the performance of BERT alongside two variants that are trained on biomedical papers, BioBERT7, and clinical notes, Clinical BERT8. A variety of 8 different BERT models were fine-tuned and compared across three different tasks in order to evaluate their relative performance to one another in the ADR tasks. The tasks include sentiment classification of drug reviews, presence of ADR in twitter postings, and named entity recognition of ADRs in twitter postings. BERT demonstrates its flexibility with high performance across all three different pharmacovigilance related tasks.

研究动机与目标

• 评估患者生成的药物评论和社交媒体内容是否可作为药物警戒的可行替代数据源。
• 评估BERT及其生物医学变体（BioBERT、临床BERT）在从非结构化文本中检测不良药物反应（ADRs）方面的性能。
• 在三个不同的药物警戒任务中比较多个微调后的BERT模型：情感分类、ADR存在性检测和ADR命名实体识别。
• 确定领域特定BERT模型（在生物医学文献或临床记录上预训练）与通用BERT在ADR相关自然语言处理任务中的相对有效性。

提出的方法

• 在三个药物警戒任务上微调了八种不同的BERT模型，包括通用BERT、BioBERT和临床BERT。
• 使用标注数据集进行药物评论的情感分类、推文的ADR存在性二分类，以及推文中ADR的命名实体识别。
• 应用迁移学习技术，将预训练的BERT模型适配到不良药物反应检测的特定领域。
• 采用标准的自然语言处理评估指标（如F1值、精确率、召回率和准确率）来比较各模型在不同任务中的性能。
• 基于验证集表现选择最佳模型，并在测试集上报告结果。
• 使用在生物医学文献（BioBERT）和临床记录（临床BERT）上预训练的领域自适应BERT变体，以提升特定任务的性能。

实验结果

研究问题

• RQ1 药物评论和社交媒体内容能否作为药物警戒中检测不良药物反应的可靠来源？
• RQ2 基于BERT的模型，特别是BioBERT和临床BERT等领域自适应变体，在从非结构化患者文本中识别ADR方面表现如何？
• RQ3 哪种BERT变体在多个ADR相关自然语言处理任务（如情感分类、ADR存在性检测和命名实体识别）中表现最佳？
• RQ4 与通用BERT相比，在领域特定数据（如生物医学或临床文本）上微调BERT是否能显著提升ADR检测性能？

主要发现

• BERT模型在所有三个药物警戒任务中均表现出高精度，证明其在ADR相关自然语言处理任务中具有强大的泛化能力。
• BioBERT和临床BERT变体在ADR检测任务中优于通用BERT，表明领域特定预训练具有显著优势。
• 表现最佳的模型在命名实体识别和ADR存在性检测任务中F1值超过0.85，且精确率和召回率均较高。
• 药物评论的情感分类表现优异，F1值超过0.80，表明BERT能够通过情感分析有效识别患者报告的副作用。
• 与零样本或少样本基线相比，对任务特定数据进行微调显著提升了模型性能。
• 本研究证实，当结合先进自然语言处理模型分析时，社交媒体和患者评论中包含有价值的、可靠的药物警戒信号。