[论文解读] A hybrid deep learning approach for medical relation extraction

Veera Raghavendra Chikka, Kamalakar Karlapalem|arXiv (Cornell University)|Jun 26, 2018

Topic Modeling参考文献 10被引用 10

一句话总结

本文提出一种混合深度学习方法，结合双向LSTM与基于规则的建模，以提升治疗与医学问题之间医学关系抽取的性能。通过结合词级与句级特征（包括词性标注、位置向量及点互信息），该模型在I2b2 2010基准上实现了0.52的F-score，通过整合高精度基于规则的输出，在TrIP与TrNAP关系上取得显著提升。

ABSTRACT

Mining relationships between treatment(s) and medical problem(s) is vital in the biomedical domain. This helps in various applications, such as decision support system, safety surveillance, and new treatment discovery. We propose a deep learning approach that utilizes both word level and sentence-level representations to extract the relationships between treatment and problem. While deep learning techniques demand a large amount of data for training, we make use of a rule-based system particularly for relationship classes with fewer samples. Our final relations are derived by jointly combining the results from deep learning and rule-based models. Our system achieved a promising performance on the relationship classes of I2b2 2010 relation extraction task.

研究动机与目标

• 为解决从临床文本中抽取治疗与医学问题之间关系的挑战，该任务对决策支持与药物安全监测至关重要。
• 通过整合基于规则的系统以提升低资源关系类别在深度学习中的表现，特别是针对代表性不足的关系类型。
• 探索双向LSTM在捕捉序列依赖关系用于关系分类方面，相较于传统CNN与SVM的优势。
• 评估句级表征（如POS序列与互信息）在关系抽取准确率中的影响。

提出的方法

• 双向LSTM网络处理输入句子，结合词级特征（词元、词性标注、短语块标注）与表示与治疗和问题实体距离的位置向量。
• 句级特征包括前100个高频POS序列、用于实体共现的点互信息，以及cTAKES中的断言关键词。
• 词嵌入初始随机初始化，并通过反向传播进行微调，输入特征拼接为密集矩阵表示。
• 针对训练样本数量较少的关系类型（如TrIP、TrNAP）开发了基于规则的系统，利用语言模式与语义线索（如动词'controlled'或'resistant'）。
• 最终预测通过融合高精度基于规则的输出与Bi-LSTM预测生成，尤其在低资源关系上显著提升性能。
• 模型使用交叉熵损失进行训练，并通过Adam优化，超参数在验证数据上进行调优。

实验结果

研究问题

• RQ1 双向LSTM是否能在捕捉医学关系抽取的序列依赖关系方面优于传统SVM与基于CNN的模型？
• RQ2 句级特征（如POS序列与互信息）在词级表征之外，如何提升关系分类性能？
• RQ3 当与深度学习结合时，基于规则的系统在低资源关系类型（如TrIP、TrNAP）上的性能提升程度如何？
• RQ4 在I2b2 2010基准上，Bi-LSTM与基于规则模型的联合推理是否优于单一方法的F-score？

主要发现

• Bi-LSTM模型在TrAP关系上达到0.58的F-score，优于SVM，表明大规模训练数据对深度学习的益处。
• 基于规则的系统在TrIP与TrNAP关系上达到高精度，F-score分别为0.47与0.30，且与Bi-LSTM结合后显著提升了其性能。
• 混合Bi-LSTM与基于规则的系统总F-score达到0.52，较Bi-LSTM单独使用提升0.01，TrIP（0.42 vs. 0.41）与TrNAP（0.30 vs. 0.22）表现尤为突出。
• 基于规则输出的整合在训练样本较少的关系（如TrIP与TrNAP）上效果最显著，这些关系在Bi-LSTM单独使用时表现欠佳。
• 研究发现，黄金标准中存在模糊标注（如'treated for'被标注为TrAP或TrIP）导致性能波动，凸显数据集质量的挑战。
• 使用带位置感知嵌入与句级特征的完整句子表征，相比基于局部窗口的方法，显著提升了上下文建模能力。