[论文解读] A Multi-Task Learning Framework for Extracting Drugs and Their Interactions from Drug Labels

Tung Tran, Ramakanth Kavuluru+1 more|arXiv (Cornell University)|May 17, 2019

Biomedical Text Mining and Ontologies参考文献 20被引用 3

一句话总结

本文提出了一种多任务学习框架，通过基于投票的集成学习的深度神经网络，联合从药物标签中进行命名实体识别（NER）和药物-药物相互作用（DDI）关系抽取。该系统在 TAC 2018 DDI 轨道的 NER 任务（测试集1和2的F1分别为33.00%和38.25%）和关系抽取任务（F1分别为21.59%和23.55%）中均获得第二名，尽管在大型外部数据集上增益有限，但通过集成建模显著提升了召回率。

ABSTRACT

Preventable adverse drug reactions as a result of medical errors present a growing concern in modern medicine. As drug-drug interactions (DDIs) may cause adverse reactions, being able to extracting DDIs from drug labels into machine-readable form is an important effort in effectively deploying drug safety information. The DDI track of TAC 2018 introduces two large hand-annotated test sets for the task of extracting DDIs from structured product labels with linkage to standard terminologies. Herein, we describe our approach to tackling tasks one and two of the DDI track, which corresponds to named entity recognition (NER) and sentence-level relation extraction respectively. Namely, our approach resembles a multi-task learning framework designed to jointly model various sub-tasks including NER and interaction type and outcome prediction. On NER, our system ranked second (among eight teams) at 33.00% and 38.25% F1 on Test Sets 1 and 2 respectively. On relation extraction, our system ranked second (among four teams) at 21.59% and 23.55% on Test Sets 1 and 2 respectively.

研究动机与目标

• 为解决从结构化产品标签（SPLs）中提取药物-药物相互作用（DDIs）的挑战，以提升药物安全性和预防不良药物反应。
• 联合建模命名实体识别（NER），用于识别致敏物、诱因和效应，以及相互作用类型和结果的预测。
• 开发一种在不同药物标签结构和标注风格下均具有良好泛化能力的深度学习系统。
• 评估训练数据规模和标注一致性对真实世界临床 NLP 任务中模型性能的影响。

提出的方法

• 使用共享层和任务特定层的单一深度神经网络模型，实现命名实体识别与关系抽取的联合建模。
• 基于投票的十模型独立训练集成，通过投票频率聚合预测结果，提升预测稳定性和召回率。
• 通过预/后处理规则处理协调修饰语（如“X 和 Y 的诱导剂”），在推理过程中将单个实体拆分为多个组成部分。
• 结合官方训练集（Training-22）与外部 NLM-180 数据集（180 个药物标签），以增强模型泛化能力。
• 使用交叉熵损失进行 NER 训练，以及多标签分类损失进行相互作用类型和结果预测。
• 后处理步骤通过选择得票更高的标注并剔除冲突标注，解决重叠预测问题。

实验结果

研究问题

• RQ1 多任务学习框架能否联合提升从药物标签中进行命名实体识别和药物-药物相互作用关系抽取的性能？
• RQ2 集成学习在临床文本抽取的 NLP 模型中如何影响召回率和稳定性？
• RQ3 尽管存在标注漂移风险，使用大规模外部数据集（NLM-180）在较小的官方测试集上能在多大程度上提升性能？
• RQ4 为何在测试集上，大规模训练数据带来的性能增益会减弱，特别是在标注指南随时间演变的情况下？
• RQ5 不同数据集中标注质量和一致性差异对模型泛化能力及评估指标的影响程度如何？

主要发现

• 基于投票的集成模型在 NER 和关系抽取任务中均获得第二名，测试集1和2的 F1 分别为 33.00% 和 38.25%。
• 与单模型相比，集成系统显著提升了召回率，同时保持了相近的精确率，表明其具有更高的稳定性和鲁棒性。
• 尽管训练数据量增加了 800%（来自 NLM-180），但测试集上的性能提升有限，表明可能存在标注漂移或质量差异。
• 表现最佳的系统（Tang et al.）使用了大量训练数据（1,148 个手动标注的句子），使得直接比较变得困难。
• 作者观察到，其系统在密集文本（测试集1）上的表现优于稀疏文本（测试集2），表明对数据稀疏性较为敏感。
• 预/后处理规则在推理过程中能有效处理如“X 和 Y 的诱导剂”等协调修饰语模式，通过将其拆分为独立实体。