[논문 리뷰] Heterogeneous Similarity Graph Neural Network on Electronic Health Records

Zheng Liu, Xiaohan Li외 3명|arXiv (Cornell University)|2021. 01. 17.

Machine Learning in Healthcare참고 문헌 42인용 수 6

한 줄 요약

이 논문은 전자 건강 기록(EHR)을 정규화된 분할된 동질적 하위그래프를 가진 이질적 그래프로 모델링하여 허브 노드 편향을 완화하는 새로운 GNN 프레임워크인 이질적 유사도 그래프 신경망(HSGNN)을 제안한다. 메타패스 기반의 다수 그래프를 주의 메커니즘을 통해 융합함으로써 HSGNN은 MIMIC-III에서 기존 모델들을 능가하는 진단 예측 성능을 달성하며, 전체 순방향 전파를 피하는 빠른 추론을 가능하게 하고, 의료 온톨로지와 함께 효과적인 표현 학습도 가능하게 한다.

ABSTRACT

Mining Electronic Health Records (EHRs) becomes a promising topic because of the rich information they contain. By learning from EHRs, machine learning models can be built to help human experts to make medical decisions and thus improve healthcare quality. Recently, many models based on sequential or graph models are proposed to achieve this goal. EHRs contain multiple entities and relations and can be viewed as a heterogeneous graph. However, previous studies ignore the heterogeneity in EHRs. On the other hand, current heterogeneous graph neural networks cannot be simply used on an EHR graph because of the existence of hub nodes in it. To address this issue, we propose Heterogeneous Similarity Graph Neural Network (HSGNN) analyze EHRs with a novel heterogeneous GNN. Our framework consists of two parts: one is a preprocessing method and the other is an end-to-end GNN. The preprocessing method normalizes edges and splits the EHR graph into multiple homogeneous graphs while each homogeneous graph contains partial information of the original EHR graph. The GNN takes all homogeneous graphs as input and fuses all of them into one graph to make a prediction. Experimental results show that HSGNN outperforms other baselines in the diagnosis prediction task.

연구 동기 및 목표

• 기존 모델이 EHR 그래프의 이질성과 허브 노드 편향을 다루는 데에 한계를 가진다는 문제를 해결하기 위해.
• EHR 내 시간적 및 구조적 정보를 활용하여 진단 예측 성능을 향상시키기 위해.
• 전체 순방향 전파를 피하는 빠른 추론 방법을 통해 효율적인 추론을 가능하게 하기 위해.
• 외부 의료 온톨로지(예: ICD-9)를 활용하여 의료 개념에 대해 고품질의 의미론적으로 유의미한 표현을 학습하기 위해.
• 실증적 평가를 통해 HSGNN이 EHR 내 복잡한 관계를 효과적으로 포착할 수 있음을 입증하기 위해.

제안 방법

• HSGNN은 EHR 그래프의 전처리 단계에서 간선 가중치를 정규화하고, 각각 특정 메타패스를 나타내는 다수의 동질적 하위그래프로 분할한다.
• 각 동질적 하위그래프는 별도로 처리되어 특정 관계 유형 기반의 노드 표현을 학습한다.
• 학습 가능한 주의 메커니즘이 모든 메타패스에서의 표현을 융합하여, 최종 노드 임베딩에 대한 기여도를 동적으로 가중한다.
• 프레임워크는 엔드 투 엔드 학습을 지원하며, 전체 순방향 전파 없이 메타패스 유사도 행렬을 계산하는 빠른 추론 방법도 포함한다.
• 비지도 표현 학습을 위해 HSGNN은 같은 ICD-9 카테고리에 속한 진단 간의 유사도를 최대화하는 대비 손실을 사용한다.
• 의료 지식(예: ICD-9 온톨로지)을 통합하여 표현 품질 향상과 일반화 능력 향상을 도모한다.

실험 결과

연구 질문

• RQ1 허브 노드로 인한 성능 저하를 피하면서도 복잡한 다중관계적 구조를 효과적으로 모델링할 수 있는 이질적 GNN 프레임워크는 가능한가?
• RQ2 HSGNN의 주의 기반 메타패스 융합 방식은 진단 예측에서 고정 또는 무게 없는 융합 방식보다 우월한가?
• RQ3 HSGNN은 전체 순방향 전파를 피하는 계산적으로 효율적인 빠른 추론 메커니즘을 통해 높은 예측 정확도를 달성할 수 있는가?
• RQ4 외부 의료 온톨로지와 함께 훈련했을 때 HSGNN이 의미론적으로 의미 있는 표현을 어느 정도 학습할 수 있는가?
• RQ5 HSGNN은 기존의 순차적 및 그래프 기반 기준 모델보다 EHR 진단 예측 작업에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• HSGNN은 RNN, GCN 및 기타 GNN 모델을 포함한 여러 최신 기준 모델들을 능가하는 성능을 MIMIC-III 데이터셋에서 확보하였다.
• 빠른 추론 방법은 전통적인 테스트와 비교해 정밀도를 1-2% 이내로 유지하면서 추론 시간을 크게 단축시켰다.
• ICD-9 온톨로지와 함께 학습한 HSGNN의 표현 학습은 t-SNE 시각화에서 명확하고 분리된 클러스터를 생성하여 고품질의 의미론적으로 의미 있는 임베딩임을 시사한다.
• 주의 메커니즘이 다양한 메타패스의 기여도를 효과적으로 학습하며, 평균 풀링 기반의 방법이 일관된 임베딩 차원에서 충분하고 안정적임을 입증하였다.
• 전처리 단계에서 간선 정규화가 성공적으로 성별과 같은 허브 노드의 영향을 완화하여 과도한 스무딩과 표현 붕괴를 방지하였다.
• 훈련 데이터 비율이 감소함에 따라 성능이 점진적으로 저하되는 등 다양한 훈련 데이터 비율에 대해 안정적인 일반화 능력을 보였다.