[논문 리뷰] Companion Animal Disease Diagnostics based on Literal-aware Medical Knowledge Graph Representation Learning

Van Thuy Hoang, Sang Thanh Nguyen외 4명|arXiv (Cornell University)|2023. 08. 31.

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 동반 동물 질병 진단을 향상시키기 위해 게이트형 퓨전과 주의 메시지 전파를 통해 이질적인 리터럴 정보(예: 증상, 텍스트 기술, 치료법)와 그래프 구조를 융합하는 LiteralKG라는 지식 그래프 임베딩 모델을 제안한다. 모델은 레이블이 없는 그래프 구조에 대한 자기지도 사전 훈련을 활용하여 링크 예측에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Knowledge graph (KG) embedding has been used to benefit the diagnosis of animal diseases by analyzing electronic medical records (EMRs), such as notes and veterinary records. However, learning representations to capture entities and relations with literal information in KGs is challenging as the KGs show heterogeneous properties and various types of literal information. Meanwhile, the existing methods mostly aim to preserve graph structures surrounding target nodes without considering different types of literals, which could also carry significant information. In this paper, we propose a knowledge graph embedding model for the efficient diagnosis of animal diseases, which could learn various types of literal information and graph structure and fuse them into unified representations, namely LiteralKG. Specifically, we construct a knowledge graph that is built from EMRs along with literal information collected from various animal hospitals. We then fuse different types of entities and node feature information into unified vector representations through gate networks. Finally, we propose a self-supervised learning task to learn graph structure in pretext tasks and then towards various downstream tasks. Experimental results on link prediction tasks demonstrate that our model outperforms the baselines that consist of state-of-the-art models. The source code is available at https://github.com/NSLab-CUK/LiteralKG.

연구 동기 및 목표

• 기존 지식 그래프 임베딩 모델이 전자 의무기록(EMRs) 내 다양한 리터럴 정보를 간과하는 한계를 해결하기 위해.
• 이질적인 엔티티 속성(예: 수치형, 텍스트형)을 그래프 구조와 효과적으로 융합하는 통합 표현 학습 프레임워크를 개발하기 위해.
• 레이블이 없는 데이터로도 의미 있는 표현을 학습하기 위해 그래프 구조에 대한 자기지도 사전 훈련을 통합하여 진단 성능을 향상시키기 위해.
• 다양한 GNN 집계기와 아키텍처 구성 요소가 이질적인 의료 KG에서 표현 학습에 미치는 영향을 조사하기 위해.

제안 방법

• 31개의 동반 동물 병원에서 수집한 EMRs에서 임상 노트, 증상, 치료법, 인구통계학적 정보 등에서 엔티티와 관계를 포함하는 의료 지식 그래프(MKG)를 구축한다.
• 텍스트 기술, 수치 값, 범주형 속성과 같은 다양한 리터럴 특징을 게이트 네트워크를 통해 통합된 엔티티 표현으로 융합한다.
• 지역 및 전반적인 그래프 구조를 포괄하기 위해 잔차 연결을 갖춘 주의 메시지 전파 메커니즘을 활용하여 특징 전파를 향상시킨다.
• 레이블이 필요 없는 상태에서 구조적 유사성을 학습하기 위해 삼중항의 음성 샘플링 기반 자기지도 사전 훈련 작업을 설계한다.
• 하류 링크 예측 작업에 대해 사전 훈련된 모델을 미세조정하여 진단 표현 품질을 평가한다.
• 다양한 GNN 집계기(GCN, GraphSAGE, Bi-Interaction, GIN)를 활용하여 성능를 비교하고 표현 학습에 대한 아키텍처 영향을 분석한다.

Figure 1: An example of a sub-graph from our knowledge graph. The circles and the rectangles surrounding entities denote entities and their attributes, respectively. Several entities, such as $M$ , $A$ , $R$ , $O$ , and $D$ , denote the Medical records, Animals, Drugs, Treatment code, and Disease, r

실험 결과

연구 질문

• RQ1 RQ1: 다양한 종류의 리터럴 정보와 그래프 구조를 융합하면 의료 KG에서 복잡한 관계를 발견하기 위한 표현 학습이 향상되는가?
• RQ2 RQ2: GIN, Bi-Interaction 등과 같은 인코더 아키텍처 중에서 의료 KG의 이질적 특징과 구조적 복잡성을 가장 잘 포착하는 것은 무엇인가?
• RQ3 RQ3: 자기지도 사전 훈련 작업이 하류 진단 작업(예: 링크 예측)에서 성능 향상에 기여하는 효과적인 표현을 생성할 수 있는가?

주요 결과

• Bi-Interaction 집계기로 링크 예측에서 LiteralKG는 F1 스코어 0.8712를 기록하여 모든 베이스라인을 초월했다.
• GIN 집계기로 사전 훈련된 가중치를 사용할 경우 F1은 0.8021에서 0.8612로, 정확도는 0.8013에서 0.8490으로 향상되었다.
• 1층짜리 LiteralKG 모델이 Bi-Interaction 집계기에서 최고 성능을 기록하여, 더 깊은 스택이 이 아키텍처에서 과도하게 부드러워지는(over-smoothing) 경향이 있음을 시사한다.
• GIN 집계기는 1D-WL 이somorphism 능력 덕분에 깊이가 8층까지 성능을 유지하며 우수한 확장성을 보였다. 이는 과도한 부드러움을 완화한다.
• 잔차 연결은 F1을 0.8174에서 0.8378로 향상시켜 메시지 전파 과정에서 특징 무결성을 유지하는 데 효과적임을 입증했다.
• 사전 훈련 단계는 하류 성능을 크게 향상시켜, 의료 KG 표현 학습에서 자기지도 학습의 유용성을 입증했다.

Figure 2: The overall architecture of LiteralKG. The entities and attributes are fused into unified vectors through a gate function $g(\cdot)$ . The unified vectors are then passed through attentive embedding propagation layers to generate the output representations. The output representations are t