[論文レビュー] Medical Knowledge Embedding Based on Recursive Neural Network for Multi-Disease Diagnosis

Jingchi Jiang, Huanzheng Wang+4 more|arXiv (Cornell University)|Sep 22, 2018

Machine Learning in Healthcare参考文献 31被引用数 3

ひとこと要約

本稿では、第一階論理に基づく医療知識と再帰的ニューラルネットワークを統合し、中国語電子カルテ（CEMR）から診断指向の知識埋め込みを生成する再帰的ニューラル知識ネットワーク（RNKN）を提案する。手動でアノテートされたCEMRで訓練されたRNKNは、古典的機械学習モデルおよびマルコフ論理ネットワーク（MLN）と比較して優れた診断精度を達成しており、証拠の明確さが高くなるほど性能が向上する。

ABSTRACT

The representation of knowledge based on first-order logic captures the richness of natural language and supports multiple probabilistic inference models. Although symbolic representation enables quantitative reasoning with statistical probability, it is difficult to utilize with machine learning models as they perform numerical operations. In contrast, knowledge embedding (i.e., high-dimensional and continuous vectors) is a feasible approach to complex reasoning that can not only retain the semantic information of knowledge but also establish the quantifiable relationship among them. In this paper, we propose recursive neural knowledge network (RNKN), which combines medical knowledge based on first-order logic with recursive neural network for multi-disease diagnosis. After RNKN is efficiently trained from manually annotated Chinese Electronic Medical Records (CEMRs), diagnosis-oriented knowledge embeddings and weight matrixes are learned. Experimental results verify that the diagnostic accuracy of RNKN is superior to that of some classical machine learning models and Markov logic network (MLN). The results also demonstrate that the more explicit the evidence extracted from CEMRs is, the better is the performance achieved. RNKN gradually exhibits the interpretation of knowledge embeddings as the number of training epochs increases.

研究の動機と目的

• シンボリック医療知識とニューラルネットワークの統合によるマルチディジーズ診断の向上に向けた課題に対処すること。
• 意味的意味を保持し、臨床意思決定支援における定量的推論を可能にする知識埋め込みフレームワークの開発。
• 手動でアノテートされた中国語電子カルテ（CEMR）上でモデルを訓練し、診断指向の知識表現を学習すること。
• 提案されたモデルの性能を古典的機械学習モデルおよびマルコフ論理ネットワーク（MLN）と比較すること。
• 訓練のエポックに伴い、学習された知識埋め込みの解釈可能性がどのように変化するかを調査すること。

提案手法

• 提案されたRNKNモデルは、再帰的ニューラルネットワークを用いて第一階論理で表現された医療知識を処理し、階層的表現学習を可能にする。
• 医療事実からの意味的および関係的情報を符号化する高次元で連続的なベクトル表現（知識埋め込み）を学習する。
• 診断予測を最適化するために、手動でアノテートされた中国語電子カルテ（CEMR）上でエンドツーエンドで訓練される。
• 知識埋め込みと重み行列が訓練中に共同で学習され、診断の関連性と論理的構造の両方を捉える。
• 再帰的アーキテクチャにより、論理的部分構造を介して情報が伝搬され、複雑な疾患関係がモデル化される。
• 訓練エポックにわたる知識埋め込みの変化を分析することで、埋め込みの解釈可能性が評価される。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークは、第一階論理に基づく医療知識から診断指向の知識埋め込みを効果的に学習できるか？
• RQ2 RNKNの診断精度は、古典的機械学習モデルおよびマルコフ論理ネットワーク（MLN）と比較してどの程度高いか？
• RQ3 CEMRから抽出された証拠の明確さが、モデルの性能にどの程度影響を与えるか？
• RQ4 訓練が進むにつれて、学習された知識埋め込みの解釈可能性はどのように変化するか？
• RQ5 モデルは、数値的互換性を保ちながら、複雑で構造化された医療知識を捉え、推論できるか？

主な発見

• RNKNは、複数の古典的機械学習モデルおよびマルコフ論理ネットワーク（MLN）と比較して高い診断精度を達成した。
• モデルの性能は、中国語電子カルテ（CEMR）から抽出された証拠が明確で明確であるほど顕著に向上した。
• 訓練が進むにつれて、知識埋め込みは解釈可能性が高まり、意味的で関係的なパターンを反映するようになった。
• 知識埋め込みと重み行列の共同学習により、構造化された医療知識に対する効果的な推論が可能になった。
• 再帰的ニューラルアーキテクチャは、診断に向けた医療知識の階層的および関係的構造を効果的に捉えた。
• 結果から、シンボリック論理とディープラーニングを組み合わせることで、マルチディジーズ診断における臨床的推論が可能であることが示された。