[论文解读] Learning Conceptual-Contextual Embeddings for Medical Text

Xiao Zhang, Dejing Dou+1 more|arXiv (Cornell University)|Aug 16, 2019

Topic Modeling参考文献 41被引用 4

一句话总结

本文提出概念-上下文（CC）嵌入，一种将医学知识图谱中的结构化知识整合到神经文本表示模型中的上下文文本表示方法，采用多层双向LSTM编码器实现。在UMLS知识库上进行训练后，CC嵌入在电子健康记录（EHR）中的再入院和死亡率预测以及医学自然语言推理等医学NLP任务中显著提升性能，部分情况下优于强基线模型和最先进模型。

ABSTRACT

External knowledge is often useful for natural language understanding tasks. We introduce a contextual text representation model called Conceptual-Contextual (CC) embeddings, which incorporates structured knowledge into text representations. Unlike entity embedding methods, our approach encodes a knowledge graph into a context model. CC embeddings can be easily reused for a wide range of tasks just like pre-trained language models. Our model effectively encodes the huge UMLS database by leveraging semantic generalizability. Experiments on electronic health records (EHRs) and medical text processing benchmarks showed our model gives a major boost to the performance of supervised medical NLP tasks.

研究动机与目标

• 解决将结构化医学知识整合到神经文本表示模型中的挑战，以提升NLP性能。
• 开发一种方法，直接将知识图谱关系编码到上下文嵌入中，避免文本与实体表示之间的对齐问题。
• 实现可复用的、概念感知的表示，使其在无需任务特定微调的情况下泛化于多种医学NLP任务。
• 在真实世界医学文本（包括EHR和临床推理基准）上验证CC嵌入的有效性。
• 弥合医学领域中知识图谱嵌入与预训练上下文语言模型之间的差距。

提出的方法

• CC嵌入模型使用多层双向LSTM编码器，生成文本中概念提及的上下文表示。
• 该模型通过知识图谱嵌入目标进行训练，学习生成满足近似平移关系的概念表示（例如，Encode('Cortisone') + may_prevent ≈ Encode('Rheumatoid Arthritis')）。
• 文本中的概念提及通过训练好的编码器进行编码，该编码器在训练期间吸收了来自UMLS知识库的结构化知识。
• 该模型在大规模医学文本语料上进行预训练，以识别和编码医学概念及其关系。
• 预训练完成后，模型可针对下游任务进行微调，或作为特征提取器，配合池化和全连接层使用。
• 该方法区分语言可推断与不可推断的知识，专注于从知识库中文本描述中捕捉语义关系。

实验结果

研究问题

• RQ1 能否有效将知识图谱中的结构化医学知识整合到上下文文本表示中，以提升NLP性能？
• RQ2 是否具备知识感知能力的文本表示模型在医学文本理解任务中优于标准的上下文模型（如BERT或LSTM）？
• RQ3 概念感知嵌入在多大程度上能提升下游任务（如EHR中的ICU再入院和死亡率预测）的性能？
• RQ4 与标准模型相比，CC嵌入能否提升医学自然语言推理任务的性能？
• RQ5 与纯语言关系相比，该模型在处理非语言可推断知识（如品牌名称关系）方面表现如何？

主要发现

• CC-LSTM模型在30天出院后死亡率预测任务中AUC达到0.839，优于标准LSTM基线模型（0.823），并超越使用额外临床数据的最先进结果。
• 在30天再入院预测任务中，CC模型的AUC高于基线LSTM模型，并且在仅使用文本出院摘要的情况下，达到或超过最先进模型的性能。
• 在MedNLI基准测试中，CC-ESIM模型达到75.2%的测试准确率，显著优于基线ESIM模型（71.3%），证明了外部知识在推理任务中的优势。
• 所有任务中的性能提升表明，CC嵌入成功将结构化医学知识注入上下文表示中，增强了泛化能力和鲁棒性。
• 模型能够编码语言可推断与不可推断知识的能力，表明其能从医学知识库的文本描述中捕捉多样化的语义关系。
• 结果验证了通过上下文感知编码器实现知识图谱集成是有效且可扩展的，尤其在低资源或知识密集型NLP场景中。