[논문 리뷰] FD-GATDR: A Federated-Decentralized-Learning Graph Attention Network for Doctor Recommendation Using EHR

Luning Bi, Yunlong Wang외 4명|arXiv (Cornell University)|2022. 07. 11.

AI in cancer detection인용 수 6

한 줄 요약

이 논문은 환자, 의사, 의료 서비스 간의 시간적 및 구조적 관계를 모델링하여 이질적인 전자건강기록(EHR) 데이터를 활용해 의사 추천을 향상시키는 연합 분산형 그래프 주의망(FD-GATDR)을 제안한다. 이 방법은 기준 모델 대비 AUC 6.2% 향상 및 O(1/T) 수렴 속도를 보이며, 개인정보 보호를 위한 분산 학습 프레임워크에서 글로벌 학습 성능을 충족한다.

ABSTRACT

In the past decade, with the development of big data technology, an increasing amount of patient information has been stored as electronic health records (EHRs). Leveraging these data, various doctor recommendation systems have been proposed. Typically, such studies process the EHR data in a flat-structured manner, where each encounter was treated as an unordered set of features. Nevertheless, the heterogeneous structured information such as service sequence stored in claims shall not be ignored. This paper presents a doctor recommendation system with time embedding to reconstruct the potential connections between patients and doctors using heterogeneous graph attention network. Besides, to address the privacy issue of patient data sharing crossing hospitals, a federated decentralized learning method based on a minimization optimization model is also proposed. The graph-based recommendation system has been validated on a EHR dataset. Compared to baseline models, the proposed method improves the AUC by up to 6.2%. And our proposed federated-based algorithm not only yields the fictitious fusion center's performance but also enjoys a convergence rate of O(1/T).

연구 동기 및 목표

• 기존의 EHR 기반 의사 추천 시스템에서 데이터를 평탄한 구조로 취급하는 바탕이 되는 구조적 모델링의 부족을 해결하기 위해.
• 서비스 순서, 의사 전문 분야, 환자-의사 상호작용과 같은 이질적 관계를 시간 인식형 이질적 그래프 주의망을 통해 모델링하기 위해.
• 병원 간에 민감한 EHR 데이터를 중앙 집중화하지 않도록 하여 환자 데이터의 기밀성을 유지하기 위해 연합 분산 학습 프레임워크를 개발하기 위해.
• 데이터 분산 및 기밀성 유지 조건에서도 글로벌 학습 성능과 비교 가능한 성능을 달성하기 위해.

제안 방법

• 환자, 의사, 의료 서비스를 노드로 하고, 시간적 및 임상적 관계를 간선으로 하는 이질적 그래프를 구축하기 위해.
• 의료 상호작용의 순서와 시기를 반영하기 위해 그래프 주의 메커니즘에 시간 임bedding을 통합하기 위해.
• 다양한 노드 유형 간의 동적이고 맥락 민감한 표현을 학습하기 위해 4개의 헤드를 사용하는 다중 헤드 주의 메커니즘을 사용하기 위해.
• 원시 데이터를 공유하지 않고도 로컬 모델을 공동으로 학습하기 위해 최소화 최적화 모델 기반의 연합 분산 학습 알고리즘을 설계하기 위해.
• 지리적으로 분산된 병원 간의 통신 및 데이터 유사성을 모델링하기 위해 공감 매트릭스를 설정하기 위해.
• 그래프를 구축하기 위해 훈련 세트의 EHR 데이터만 사용하고, 평가를 위해 마스킹된 미래 기록을 기반으로 추론하기 위해.

실험 결과

연구 질문

• RQ1 이질적 그래프 주의망은 EHR 데이터의 시간적 및 구조적 관계를 효과적으로 모델링하여 의사 추천 성능을 향상시킬 수 있는가?
• RQ2 시간 인식 임베딩과 다중 관계 간선을 통합함으로써 EHR 기반 추천에서 표현 학습이 어떻게 향상되는가?
• RQ3 연합 분산 학습 접근법은 병원 간의 데이터 기밀성을 유지하면서도 글로벌 학습 성능과 비교 가능한 성능을 달성할 수 있는가?
• RQ4 제안된 연합 분산 학습 프레임워크의 수렴 행동과 통신 효율성은 어떠한가?

주요 결과

• HGAT 기반 모델은 테스트 리콜 70%와 AUC 76%를 기록하여 GAT(리콜 70%, AUC 70%) 및 기타 기준 모델을 초월했다.
• 제안된 FD-GATDR 모델은 기준 모델 대비 최대 6.2%의 AUC 향상을 보이며 뛰어난 예측 성능을 입증했다.
• 연합 분산 학습(FDL) 방법은 모든 지역에서 글로벌 학습 성능과 2%~5% 이내의 리콜 및 AUC 성능을 달성했다.
• 로컬 학습에서 FDL은 고립된 로컬 모델 대비 AUC 최대 19% 향상 및 리콜 최대 14% 향상으로 일반화 능력 향상을 보였다.
• FDL 알고리즘은 O(1/T) 수렴 속도를 확보하여 제안된 최적화 프레임워크 하에서 이론적 수렴을 확인했다.
• 모델은 EHR 시퀀스를 기반으로 환자-의사 관계를 성공적으로 재구성하여 향후 의사 배정 예측을 정확하게 수행했다.