[论文解读] An Attentive Sequence Model for Adverse Drug Event Extraction from Biomedical Text

Suriyadeepan Ramamoorthy, Selvakumar Murugan|arXiv (Cornell University)|Jan 2, 2018

Biomedical Text Mining and Ontologies参考文献 19被引用 19

一句话总结

本文提出一种联合实体识别与不良药物反应（ADE）抽取模型，采用自注意力机制捕捉生物医学文本中的序列内依赖关系。通过将 ADE 抽取建模为基于特定药物的问答任务，模型在 F1 分数上达到 86.78，相比最先进方法提升 15%，同时支持可解释的注意力可视化，有助于理解临床情境。

ABSTRACT

Adverse reaction caused by drugs is a potentially dangerous problem which may lead to mortality and morbidity in patients. Adverse Drug Event (ADE) extraction is a significant problem in biomedical research. We model ADE extraction as a Question-Answering problem and take inspiration from Machine Reading Comprehension (MRC) literature, to design our model. Our objective in designing such a model, is to exploit the local linguistic context in clinical text and enable intra-sequence interaction, in order to jointly learn to classify drug and disease entities, and to extract adverse reactions caused by a given drug. Our model makes use of a self-attention mechanism to facilitate intra-sequence interaction in a text sequence. This enables us to visualize and understand how the network makes use of the local and wider context for classification.

研究动机与目标

• 为解决临床文本中不良药物反应（ADE）报告不足的问题，该问题导致显著的患者死亡率和发病率。
• 通过将 ADE 抽取建模为问答任务而非传统的关系抽取问题，提升抽取的准确性和可解释性。
• 用自注意力机制替代基于依存路径的方法，实现更丰富的序列内上下文建模。
• 在端到端可训练架构中联合学习药物和疾病实体识别以及 ADE 关系抽取。
• 通过注意力热图提供可视化可解释性，揭示模型如何利用局部和全局上下文进行预测。

提出的方法

• 模型将 ADE 抽取视为问答问题：对序列中的每个标记，回答“这是给定药物的不良反应吗？”
• 采用双向 LSTM 编码器，结合词嵌入、字符嵌入、词性（POS）和标签嵌入，表示输入序列。
• 自注意力机制通过跨所有标记状态的注意力计算上下文感知表示，实现对相关片段的动态聚焦。
• 注意力机制支持注意力分数的可视化，将模型关注点映射到特定标记（如药物和疾病实体）。
• 通过交叉熵损失端到端训练实体识别和 ADE 分类两个任务。
• 超参数包括：400 维词嵌入、525 维字符嵌入，以及 25 维 POS 和标签嵌入，双向 LSTM 层各为 150 个单元。

实验结果

研究问题

• RQ1 将 ADE 抽取建模为基于特定药物的问答任务，是否能优于传统的关系抽取方法？
• RQ2 自注意力机制在建模 ADE 抽取的序列内依赖关系方面，是否优于最短依存路径（SDP）方法？
• RQ3 注意力可视化在多大程度上有助于解释临床文本序列中模型的决策？
• RQ4 序列长度、实体数量或 ADE 数量与模型性能之间是否存在相关性？
• RQ5 联合学习实体识别与 ADE 抽取对整体系统性能有何影响？

主要发现

• 模型在 ADE 抽取任务上的 F1 分数达到 86.78，相比先前最先进方法提升 15%。
• 实体识别性能略高于最先进方法，超过 50% 的样本 F1 分数高于 95。
• 超过 60% 的 ADE 抽取预测 F1 分数高于 95，表明在高置信度样本上具有良好的泛化能力。
• 注意力热图清晰地突出了高性能样本中的药物和疾病实体，证实模型聚焦于相关临床术语。
• 在低性能样本中，注意力分散于多个标记，表明模型未能准确定位相关上下文，这与预测性能差相关。
• 未发现模型性能与序列长度、实体数量或 ADE 数量之间存在显著相关性，表明对输入复杂度具有鲁棒性。