[论文解读] Clinical Information Extraction via Convolutional Neural Network

Peng Li, Heng Huang|arXiv (Cornell University)|Mar 30, 2016

Topic Modeling参考文献 11被引用 11

一句话总结

本文提出了一种基于深度学习的临床信息抽取方法，采用一维卷积神经网络（CNN）从原始临床笔记中识别事件范围及其属性（如模态、极性与类型）。通过利用词嵌入、词性标注和形状特征，该模型在不依赖领域特定工具（如cTAKES）的情况下实现了最先进性能，在多个指标上超越基线模型，事件范围检测的F1得分最高达0.874，属性分类的F1得分最高达0.844。

ABSTRACT

We report an implementation of a clinical information extraction tool that leverages deep neural network to annotate event spans and their attributes from raw clinical notes and pathology reports. Our approach uses context words and their part-of-speech tags and shape information as features. Then we hire temporal (1D) convolutional neural network to learn hidden feature representations. Finally, we use Multilayer Perceptron (MLP) to predict event spans. The empirical evaluation demonstrates that our approach significantly outperforms baselines.

研究动机与目标

• 开发一种临床信息抽取系统，以减少对复杂、领域特定的自然语言处理工具包（如cTAKES）的依赖。
• 通过深度表示学习提高临床笔记中事件范围和属性检测的准确性。
• 证明仅通过利用词级表示和简单自然语言处理模块，即可在最小化特征工程的前提下实现高性能。
• 评估在深度神经网络中结合词嵌入、词性标签和形状特征在临床自然语言处理任务中的有效性。

提出的方法

• 系统使用一维时间卷积神经网络（CNN）从词特征（包括词项、词性（POS）标签和词形）中学习隐式表示。
• 词形特征通过将小写字母映射为'x'，大写字母映射为'X'，数字映射为'd'，并保留标点符号生成。
• 每个词通过词项、POS和形状的查找表生成的特征向量拼接而成，随后输入CNN。
• CNN对大小为2×window_size+1的窗口应用卷积核宽度为2的滤波器，采用类似ReLU的激活函数，并对序列进行最大池化。
• 在CNN输出之上使用一个包含50个隐藏单元和Sigmoid激活函数的多层感知机（MLP），以预测事件范围和属性。
• 模型采用随机梯度下降配合AdaGrad优化，L2正则化，并以负对数似然为目标函数，以最大化预测准确性。

实验结果

研究问题

• RQ1 深度神经网络模型是否能在不依赖领域特定特征工程工具（如cTAKES）的情况下实现临床信息抽取的竞争力表现？
• RQ2 当与一维CNN结合时，基础自然语言处理特征（词项、词性标签和形状信息）在事件范围与属性检测中的有效性如何？
• RQ3 从原始临床文本端到端学习的性能在多大程度上优于采用手工特征的传统流水线方法？
• RQ4 使用预训练的GloVe词嵌入是否能提升临床事件抽取任务的性能？

主要发现

• 所提出的模型在事件范围识别任务上取得了0.874的F1得分，优于记忆基线模型，并与报告的中位数和最大值得分持平。
• 在属性预测方面，模型在类型、极性、程度和模态上的F1得分分别为0.844、0.842、0.870和0.844，均持续优于基线模型。
• 系统在DocTimeRel子任务上的F1得分为0.788，超过中位数报告值（0.724），并接近最高报告得分（0.843）。
• 事件范围检测的精确率为0.908，召回率为0.842，表明尽管由于以准确性为导向的训练目标存在轻微召回差距，整体性能依然强劲。
• 结果表明，仅通过基础自然语言处理模块（分词、词性标注）与深度学习，即可实现高性能，从而减少对复杂、领域特定特征工程的依赖。