[論文レビュー] Companion Animal Disease Diagnostics based on Literal-aware Medical Knowledge Graph Representation Learning

Van Thuy Hoang, Sang Thanh Nguyen+4 more|arXiv (Cornell University)|Aug 31, 2023

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本論文では、ゲート畳み込みと注意メッセージ伝達を用いて、多様なリテラル情報（例：症状、テキスト記述、治療法）とグラフ構造を統合する知識グラフ埋め込みモデル、LiteralKGを提案する。このモデルは、同伴動物の疾患診断を向上させるために、ラベルなしの自己教師付き事前学習を活用して、グラフ構造の自己教師付き事前学習を用いることで、最先端の性能を達成する。

ABSTRACT

Knowledge graph (KG) embedding has been used to benefit the diagnosis of animal diseases by analyzing electronic medical records (EMRs), such as notes and veterinary records. However, learning representations to capture entities and relations with literal information in KGs is challenging as the KGs show heterogeneous properties and various types of literal information. Meanwhile, the existing methods mostly aim to preserve graph structures surrounding target nodes without considering different types of literals, which could also carry significant information. In this paper, we propose a knowledge graph embedding model for the efficient diagnosis of animal diseases, which could learn various types of literal information and graph structure and fuse them into unified representations, namely LiteralKG. Specifically, we construct a knowledge graph that is built from EMRs along with literal information collected from various animal hospitals. We then fuse different types of entities and node feature information into unified vector representations through gate networks. Finally, we propose a self-supervised learning task to learn graph structure in pretext tasks and then towards various downstream tasks. Experimental results on link prediction tasks demonstrate that our model outperforms the baselines that consist of state-of-the-art models. The source code is available at https://github.com/NSLab-CUK/LiteralKG.

研究の動機と目的

• 既存の知識グラフ埋め込みモデルが、動物疾患診断における電子的医療記録（EMR）内の多様なリテラル情報を見過ごしているという限界に対処すること。
• 多様なエンティティ属性（例：数値、テキスト）とグラフ構造を効果的に統合する統一された表現学習フレームワークを構築すること。
• ラベルなしデータを用いてグラフ構造の自己教師付き事前学習を統合することで、診断性能を向上させること。
• 異なるGNNアグリゲーターおよびアーキテクチャ的要素が、異種医療KGにおける表現学習に与える影響を調査すること。

提案手法

• 31軒の同伴動物病院から収集したEMRから、臨床ノート、症状、治療法、人口統計などのエンティティと関係を含む医療知識グラフ（MKG）を構築する。
• テキスト記述、数値、カテゴリカル属性などの多様なリテラル特徴を、ゲートネットワークを用いて統一されたエンティティ表現に統合する。
• 局所的およびグローバルなグラフ構造を捉えるために、残差接続を備えた注意メッセージ伝達メカニズムを採用し、特徴伝達を強化する。
• ラベルなしデータを必要とせず、KG内の構造的近接性を学習するため、三つ組のネガティブサンプリングに基づく自己教師付き事前学習タスクを設計する。
• 下流のリンク予測タスクにおける診断表現品質の評価を目的として、事前学習済みモデルを微調整する。
• GCN、GraphSAGE、Bi-Interaction、GINなどの複数のGNNアグリゲーターを用いて性能を比較し、アーキテクチャ的影響を分析する。

Figure 1: An example of a sub-graph from our knowledge graph. The circles and the rectangles surrounding entities denote entities and their attributes, respectively. Several entities, such as $M$ , $A$ , $R$ , $O$ , and $D$ , denote the Medical records, Animals, Drugs, Treatment code, and Disease, r

実験結果

リサーチクエスチョン

• RQ1 RQ1: 異種のリテラル情報とグラフ構造を統合することで、医療KGにおける複雑な関係の発見のための表現学習が向上するか？
• RQ2 RQ2: GIN や Bi-Interaction などのエンコーダアーキテクチャのうち、医療KGにおける異種特徴と構造的複雑性を最も効果的に捉えるのはどれか？
• RQ3 RQ3: 自己教師付き事前学習タスクが、リンク予測などの下流診断タスクにおける性能向上に寄与する有効な表現を生成できるか？

主な発見

• LiteralKGは、Bi-Interactionアグリゲーターを用いたリンク予測でF1スコア0.8712を達成し、すべてのベースラインを上回った。
• GINアグリゲーターを用いた場合、事前学習重みを適用することで、F1は0.8021から0.8612に、正答率は0.8013から0.8490に向上した。
• 1層のLiteralKGモデルがBi-Interactionアグリゲーターで最高性能を発揮した。これは、より深いスタックがこのアーキテクチャで過剰平滑化を引き起こす可能性があることを示唆している。
• GINアグリゲーターは深さに伴う優れたスケーラビリティを示し、1D-WL同型性の力により、8層まで性能を維持した。これは過剰平滑化を緩和する。
• 残差接続を導入することで、F1は0.8174から0.8378に向上した。これは、メッセージ伝達中の特徴の整合性を保つ有効性を示している。
• 事前学習フェーズが下流性能を顕著に向上させた。これは、自己教師付き学習が医療KG表現学習において実用的であることを裏付けた。

Figure 2: The overall architecture of LiteralKG. The entities and attributes are fused into unified vectors through a gate function $g(\cdot)$ . The unified vectors are then passed through attentive embedding propagation layers to generate the output representations. The output representations are t