[论文解读] Medical Knowledge Embedding Based on Recursive Neural Network for Multi-Disease Diagnosis

Jingchi Jiang, Huanzheng Wang+4 more|arXiv (Cornell University)|Sep 22, 2018

Machine Learning in Healthcare参考文献 31被引用 3

一句话总结

该论文提出了一种基于一阶逻辑的医学知识与递归神经网络相结合的递归神经知识网络（RNKN），从中文电子病历（CEMRs）中生成面向诊断的知识嵌入。在标注的CEMRs上进行训练后，RNKN在诊断准确性方面优于经典机器学习模型和马尔可夫逻辑网络，且随着证据清晰度的提高，性能进一步提升。

ABSTRACT

The representation of knowledge based on first-order logic captures the richness of natural language and supports multiple probabilistic inference models. Although symbolic representation enables quantitative reasoning with statistical probability, it is difficult to utilize with machine learning models as they perform numerical operations. In contrast, knowledge embedding (i.e., high-dimensional and continuous vectors) is a feasible approach to complex reasoning that can not only retain the semantic information of knowledge but also establish the quantifiable relationship among them. In this paper, we propose recursive neural knowledge network (RNKN), which combines medical knowledge based on first-order logic with recursive neural network for multi-disease diagnosis. After RNKN is efficiently trained from manually annotated Chinese Electronic Medical Records (CEMRs), diagnosis-oriented knowledge embeddings and weight matrixes are learned. Experimental results verify that the diagnostic accuracy of RNKN is superior to that of some classical machine learning models and Markov logic network (MLN). The results also demonstrate that the more explicit the evidence extracted from CEMRs is, the better is the performance achieved. RNKN gradually exhibits the interpretation of knowledge embeddings as the number of training epochs increases.

研究动机与目标

• 为解决将符号化医学知识与神经网络结合以提升多病种诊断性能的挑战。
• 开发一种知识嵌入框架，以保留语义含义并支持临床决策支持中的可量化推理。
• 在人工标注的中文电子病历（CEMRs）上训练模型，以学习面向诊断的知识表征。
• 将所提出的模型与经典机器学习模型和马尔可夫逻辑网络（MLN）进行性能评估。
• 研究学习到的知识嵌入在训练轮次中的可解释性如何演变。

提出的方法

• 所提出的RNKN模型利用递归神经网络处理以一阶逻辑表达的医学知识，实现层次化表征学习。
• 它学习高维连续向量表征（知识嵌入），以编码医学事实中的语义和关系信息。
• 模型在人工标注的中文电子病历（CEMRs）上进行端到端训练，以优化诊断预测性能。
• 知识嵌入与权重矩阵在训练过程中联合学习，同时捕捉诊断相关性与逻辑结构。
• 递归架构使模型能够通过逻辑子结构传播信息，从而建模复杂的疾病关系。
• 通过分析知识嵌入在训练轮次中的演变过程，评估其可解释性。

实验结果

研究问题

• RQ1 递归神经网络能否有效从基于一阶逻辑的医学知识中学习面向诊断的知识嵌入？
• RQ2 RNKN的诊断准确率与经典机器学习模型和马尔可夫逻辑网络（MLN）相比如何？
• RQ3 从CEMRs中提取的证据的清晰度在多大程度上影响模型性能？
• RQ4 随着训练的推进，学习到的知识嵌入在可解释性方面如何演变？
• RQ5 该模型能否在保持与深度学习数值兼容性的同时，捕捉并推理复杂的结构化医学知识？

主要发现

• RNKN在诊断准确率方面优于多种经典机器学习模型和马尔可夫逻辑网络（MLN）。
• 当从中文电子病历（CEMRs）中提取的证据更清晰、更明确时，模型性能显著提升。
• 随着训练的推进，知识嵌入的可解释性逐渐增强，反映出有意义的语义和关系模式。
• 知识嵌入与权重矩阵的联合学习使模型能够对结构化医学知识进行有效推理。
• 递归神经网络架构成功捕捉了医学知识中用于诊断的层次化和关系结构。
• 结果表明，将符号逻辑与深度学习结合用于多病种诊断中的临床推理具有可行性。