[논문 리뷰] Multi Layered-Parallel Graph Convolutional Network (ML-PGCN) for Disease Prediction

Anees Kazi, Shadi Albarqouni외 2명|arXiv (Cornell University)|2018. 04. 28.

Machine Learning in Healthcare참고 문헌 2인용 수 5

한 줄 요약

이 논문은 구조적 전자 의료 기록(EHR) 데이터(예: 연령, 성별, 체중)를 그래프 컬러션 네트워크를 사용하여 질병 예측에 통합하는 다층 병렬 그래프 컬러션 네트워크(ML-PGCN)를 제안한다. 각 구조적 특징에 대해 병렬 GCN 브랜치를 적용하고 가중치를 학습할 수 있는 레이어를 도입함으로써, 모델은 가장 관련성이 높은 메타데이터를 자동으로 우선순위를 정한다. 이로 인해 기존 최고 성능(SOTA) 방법 대비 ABIDE에서 정확도가 5.31%p, AUC가 4.96%p 향상되었고, CXR에서는 정확도가 8.15%p, AUC가 10.36%p 향상되었다.

ABSTRACT

Structural data from Electronic Health Records as complementary information to imaging data for disease prediction. We incorporate novel weighting layer into the Graph Convolutional Networks, which weights every element of structural data by exploring its relation to the underlying disease. We demonstrate the superiority of our developed technique in terms of computational speed and obtained encouraging results where our method outperforms the state-of-the-art methods when applied to two publicly available datasets ABIDE and Chest X-ray in terms of relative performance for the accuracy of prediction by 5.31 % and 8.15 % and for the area under the ROC curve by 4.96 % and 10.36 % respectively. Additionally, the model is lightweight, fast and easily trainable.

연구 동기 및 목표

• 기존의 CAD 시스템이 질병 예측에 대한 관련성에 따라 EHR 특징(예: 연령, 성별)을 동적으로 가중치를 부여하는 데에 한계가 있다는 문제를 해결하기 위해.
• 각 구조적 EHR 특징을 별도의 그래프로 간주하여 병렬적이고 선택적인 특징 학습이 가능한 딥 러닝 프레임워크를 개발하기 위해.
• 각 구조적 특징의 그래프 표현에 대해 그 예측 기여도에 따라 중요도 점수를 자동으로 할당하는 학습 가능한 순위 매기기 레이어를 도입하기 위해.
• 영상 데이터와 EHR 데이터의 다중 모odal 데이터를 그래프 기반의 어텐션 유사 메커니즘으로 융합하여 질병 예측 성능을 향상시키기 위해.

제안 방법

• 모델은 M개의 병렬 GCN 브랜치를 사용하며, 각 브랜치는 별도의 EHR 특징(예: 연령, 성별)을 별도의 그래프로 처리하고, 해당 특징의 분포에서 유도된 고유한 유사도 행렬을 갖는다.
• 각 브랜치는 정규화된 그래프 라플라시안을 사용하여 스펙트럼 그래프 컨볼루션을 적용한다: $ H_{l+1}^{(m)} = \sigma\left( D^{(m)^{-1/2}} W^{(m)} D^{(m)^{-1/2}} H_l^{(m)} \Theta_l^{(m)} \right) $, 여기서 $ W^{(m)} $는 특징 $ m $에 대한 유사도 행렬이다.
• 학습 가능한 순위 매기기 레이어는 모든 브랜치의 출력을 가중치 $ \omega^{(m)} $를 적용하여 집계하며, 이 가중치는 학습 도중 각 특징의 예측 관련성을 반영하도록 최적화된다.
• 최종 예측은 모든 브랜치의 가중치를 적용한 표현을 융합하는 융합 레이어를 통해 생성되며, backpropagation을 통한 엔드 투 엔드 학습이 가능하다.
• 유사도 행렬은 환자 간 특징 유사도를 기반으로 가우시안 커널을 사용하여 구성되며, 그래프 간선이 EHR 공간 내 의미적 밀도를 반영하도록 보장한다.
• 모델은 조기 정지와 Adam 최적화를 사용한 교차 엔트로피 손실로 훈련되며, 학습 순서는 순위 레이어 이전에 GCN 레이어를 우선 처리하여 학습 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 각 EHR 특징을 독립적인 그래프로 간주하는 다중 브랜치 GCN 아키텍처가 단일 그래프 또는 융합 특징 기반 베이스라인 대비 질병 예측 성능을 향상시키는가?
• RQ2 EHR 특징에 대해 학습 가능한 가중치 메커니즘을 도입하면 고정 또는 동일 가중치 융합 방식보다 성능 향상이 이루어지는가?
• RQ3 다른 EHR 특징을 통해 정의된 이웃 관계의 선택이 잠재 공간 내 질병 클래스의 클러스터링에 어떤 영향을 미치는가?
• RQ4 원시 통계적 중요도가 다를지라도, 모델이 특정 EHR 특징(예: 성별)이 더 예측력이 높다는 것을 자동으로 학습할 수 있는가?
• RQ5 특히 두 개 이상의 EHR 특징으로 확장할 경우, 제안된 방법이 확장성과 효율성 면에서 우수한가?

주요 결과

• ABIDE 데이터셋에서 자동 순위 매기기 기능을 갖춘 ML-PGCN는 69.88%의 정확도와 69.88%의 AUC를 기록하여 SOTA 기준(66.36% 정확도, 66.36% AUC)보다 정확도 3.52%p, AUC 3.52%p 향상되었다.
• CXR 데이터셋에서 모델는 순위 매기기 기능을 통해 87.16%의 정확도와 87.16%의 AUC를 기록하였으며, 기준(80.57% 정확도, 80.57% AUC) 대비 정확도 6.59%p, AUC 6.59%p 향상되었다.
• 모델의 훈련 시간은 기준 대비 단지 13.8% 더 길어져, 높은 계산 효율성과 확장성을 입증했다.
• 각 EHR 특징(예: 성별, 연구소, 연령)에 대한 학습된 가중치는 훈련 과정에서 서로 다른 값으로 수렴하여, 모델이 더 관련성이 높은 특징을 자동으로 우선순위를 정하는 능력을 확인했다.
• 하나의 입력 브랜치로 무작위 그래프를 사용할 경우 성능 저하가 발생했지만, 순위 매기기 레이어가 활성화된 상태에서는 여전히 기준을 초월하는 성능을 기록하여 자동 가중치 메커니즘의 강건성을 입증했다.
• 제거 실험을 통해 순위 매기기 레이어가 성능 향상에 크게 기여하는 것으로 확인되었으며, 이 레이어가 없는 모델은 SOTA에 도달하지 못했고, 전체 모델은 두 데이터셋 모두에서 최고 성능을 기록했다.