[论文解读] A Neural Multi-Task Learning Framework to Jointly Model Medical Named Entity Recognition and Normalization

Sendong Zhao, Ting Liu+2 more|arXiv (Cornell University)|Dec 14, 2018

Topic Modeling参考文献 27被引用 14

一句话总结

本文提出了一种具有显式反馈机制的新型深度神经多任务学习框架，用于联合执行医学命名实体识别（MER）与归一化（MEN）。通过整合双向LSTM、用于字符级特征提取的CNN，以及任务间的相互反馈，该模型在两个基准数据集上实现了最先进性能，MER的F1分数最高提升4.53%，MEN的F1分数最高提升5.61%。

ABSTRACT

State-of-the-art studies have demonstrated the superiority of joint modelling over pipeline implementation for medical named entity recognition and normalization due to the mutual benefits between the two processes. To exploit these benefits in a more sophisticated way, we propose a novel deep neural multi-task learning framework with explicit feedback strategies to jointly model recognition and normalization. On one hand, our method benefits from the general representations of both tasks provided by multi-task learning. On the other hand, our method successfully converts hierarchical tasks into a parallel multi-task setting while maintaining the mutual supports between tasks. Both of these aspects improve the model performance. Experimental results demonstrate that our method performs significantly better than state-of-the-art approaches on two publicly available medical literature datasets.

研究动机与目标

• 为解决流水线模型在医学命名实体识别与归一化任务中存在的局限性，如错误传播问题以及无法充分利用任务间的相互收益。
• 开发一种联合建模方法，利用识别与归一化任务之间的共享表征及相互反馈机制。
• 通过引入深层神经网络架构，结合字符级与语义级特征，提升MER与MEN的性能。
• 通过并行多任务学习设计，缓解识别与归一化输出之间边界不一致的问题。

提出的方法

• 该框架采用多任务学习架构，将识别与归一化作为具有共享底层表征的并行任务进行建模。
• 使用双向LSTM捕捉医学文本中的序列依赖关系，增强上下文建模能力。
• 应用卷积神经网络（CNN）提取局部字符级特征，例如来自药物名称如'Zolmitriptan'或'Zomig'的特征。
• 引入显式反馈机制：识别任务的输出用于指导归一化，反之亦然，实现双向相互支持。
• 模型使用在PubMed和全文文章上预训练的50维Word2Vec词嵌入，其在这些任务上的表现优于GloVe或Senna。
• 采用联合CRF层进行序列标注，以确保序列上标记的一致性，减少边界不一致问题。

实验结果

研究问题

• RQ1 具有显式反馈的深度神经多任务学习框架是否能在医学命名实体识别与归一化任务上优于流水线模型或简单联合模型？
• RQ2 通过CNN整合字符级特征以及通过Bi-LSTM进行序列建模，如何提升识别与归一化的准确性？
• RQ3 识别与归一化之间的相互反馈在多大程度上减少了预测实体跨度的边界不一致？
• RQ4 使用领域特定的预训练词嵌入（如PubMed训练的Word2Vec）是否能在医学NLP任务上优于通用领域嵌入？
• RQ5 该模型在未登录词实体上的表现如何，特别是那些在训练期间未见但在词嵌入空间中存在的实体？

主要发现

• 所提出的MTL-MEN&MER_feedback模型在BC5CDR和NCBI Disease语料库上，相较于最先进方法，医学命名实体识别的F1分数绝对提升4.53%，归一化的F1分数提升5.61%。
• 与基线Bi-LSTM-CNN-CRF模型相比，该模型在NCBI语料库上将识别与归一化输出之间的边界不一致减少了78.5%，在BC5CDR语料库上减少了79.7%。
• 在PubMed和全文文章上预训练的Word2Vec词嵌入表现最佳，优于GloVe和Senna，可能是因为其与医学实体的词汇对齐更优。
• 该模型在词表内（IV）和训练词表外（OOTV）实体上均表现出最大的性能增益，表明其具有强大的泛化能力与对罕见或未见术语的鲁棒性。
• 错误分析显示，该模型在词表外但词嵌入空间中存在的（OOBV）实体上表现显著更优，NCBI语料库上MER的F1分数提升4.47%，BC5CDR语料库上提升4.08%，证明了预训练词嵌入与反馈机制的有效利用。