[论文解读] Structured prediction models for RNN based sequence labeling in clinical text

Abhyuday Jagannatha, Hong Yu|arXiv (Cornell University)|Aug 1, 2016

Topic Modeling参考文献 20被引用 27

一句话总结

本文通过将循环神经网络（LSTM）与条件随机场（CRF）相结合，提出改进的结构化预测模型，以提升临床文本中医学实体的精确短语检测效果。通过使用神经网络建模成对势能，并引入近似跳跃链CRF以捕捉长距离标签依赖关系，该方法在标准Bi-LSTM-CRF基础上实现了统计上显著的F值提升，尤其在不良药物反应和适应症等罕见及复杂实体上表现更优。

ABSTRACT

Sequence labeling is a widely used method for named entity recognition and information extraction from unstructured natural language data. In clinical domain one major application of sequence labeling involves extraction of medical entities such as medication, indication, and side-effects from Electronic Health Record narratives. Sequence labeling in this domain, presents its own set of challenges and objectives. In this work we experimented with various CRF based structured learning models with Recurrent Neural Networks. We extend the previously studied LSTM-CRF models with explicit modeling of pairwise potentials. We also propose an approximate version of skip-chain CRF inference with RNN potentials. We use these methodologies for structured prediction in order to improve the exact phrase detection of various medical entities.

研究动机与目标

• 解决临床笔记中罕见和复杂医学实体的精确短语检测挑战。
• 通过显式建模超出局部上下文的标签依赖关系，提升电子健康记录中的序列标注性能。
• 评估基于神经网络的成对势能和近似跳跃链CRF推理对临床NLP结构化预测的影响。
• 探究使用RNN的结构化学习是否能在检测医学相关实体方面优于标准的Bi-LSTM和Bi-LSTM-CRF模型。
• 分析模型在罕见标签（如不良药物反应）和复杂标签（如适应症）上的行为，这些标签难以与相似实体区分。

提出的方法

• 提出一种基于神经网络成对势能的Bi-LSTM-CRF模型，用深度神经网络替代标准学习的转移矩阵，以建模标签转移。
• 引入一种近似推理方法用于跳跃链CRF，以捕捉远距离标签之间的长距离依赖关系，如在“B对A的次级”结构中。
• 使用双向LSTM生成上下文感知的词表示，随后输入CRF层进行结构化预测。
• 采用精确和近似推理策略处理CRF，后者支持建模非相邻标签关系。
• 使用交叉熵损失进行端到端训练，并在训练过程中应用CRF解码，以优化联合标签序列预测。
• 通过5折交叉验证的成对t检验评估F值差异的统计显著性。

实验结果

研究问题

• RQ1 使用神经网络建模成对势能是否能提升临床文本中医学实体的精确短语检测效果？
• RQ2 引入近似跳跃链CRF推理是否能提升临床序列中长距离标签依赖关系的性能？
• RQ3 所提出的模型在罕见和复杂医学实体的F值、精确率和召回率方面，与标准Bi-LSTM和Bi-LSTM-CRF相比如何？
• RQ4 为何精确CRF模型在某些罕见或模糊标签（如适应症和严重程度）上表现出较低的召回率，尽管精确率较高？
• RQ5 基于神经网络的成对势能能在多大程度上缓解罕见医学实体的数据稀缺问题？

主要发现

• 使用神经网络成对势能的Bi-LSTM-CRF-pair模型在F值上相比基线Bi-LSTM和标准Bi-LSTM-CRF实现了统计显著的提升（p < 0.01）。
• 近似跳跃链CRF模型在F值上优于基线Bi-LSTM和标准Bi-LSTM-CRF，其更高的召回率得益于对长距离标签依赖关系的更好建模。
• 对于罕见标签如不良药物反应（ADE），Bi-LSTM-CRF-pair模型的召回率显著高于标准Bi-LSTM-CRF，表明其对稀疏实体的检测能力更强。
• Bi-LSTM-CRF-pair模型将“适应症”被误分类为“其他SSD”的比例从40%降低至20%，表明其对模糊标签的区分能力更优。
• 标准Bi-LSTM-CRF在F值上与基线Bi-LSTM相比未表现出统计显著的提升（p > 0.05），凸显了固定转移矩阵的局限性。
• 尽管近似推理导致精确率略低，近似跳跃链CRF在召回率上接近或优于所有其他模型，尤其在复杂标签上表现突出。