[논문 리뷰] Learn Electronic Health Records by Fully Decentralized Federated Learning

Songtao Lu, Yawen Zhang외 2명|arXiv (Cornell University)|2019. 12. 04.

Privacy-Preserving Technologies in DataComputer Science참고 문헌 21인용 수 20

한 줄 요약

이 논문은 분산 전자 건강 기록(EHR)에서 기계 학습 모델을 훈련시키면서 데이터 기밀성을 유지하고 통신 효율성을 높이기 위해 분산 확률적 경사 추적(Dispersed Stochastic Gradient Tracking, DSGT)을 사용하는 완전히 분산된 피어 투 피어(federated learning) 프레임워크를 제안한다. 병원 간에 피어 투 피어 통신을 통해 국소 업데이트를 수행함으로써, 중앙 집중식 또는 스타형 네트워크 아키텍처보다 훨씬 적은 통신 라운드 수로 선형 속도 향상을 달성하고 최적 해에 수렴한다.

ABSTRACT

Federated learning opens a number of research opportunities due to its high communication efficiency in distributed training problems within a star network. In this paper, we focus on improving the communication efficiency for fully decentralized federated learning over a graph, where the algorithm performs local updates for several iterations and then enables communications among the nodes. In such a way, the communication rounds of exchanging the common interest of parameters can be saved significantly without loss of optimality of the solutions. Multiple numerical simulations based on large, real-world electronic health record databases showcase the superiority of the decentralized federated learning compared with classic methods.

연구 동기 및 목표

• 환자의 기밀성을 해치지 않으면서 비동일한 분산 전자 건강 기록(EHR)에서 고성능 기계 학습 모델을 훈련시키는 데 도전하는 것.
• 특히 HIPAA와 같은 규정으로 인해 데이터 공유가 제한되는 실제 의료 환경에서, 중앙 집중형 파rameter 서버가 필요 없도록 함으로써 피어 투 피어 학습의 통신 효율성을 향상시키는 것.
• 실제 EHR 데이터셋에서 흔히 발생하는 데이터 이질성에 대응할 수 있는 분산 최적화 프레임워크를 개발하여 병원 간에 일치 수렴를 달성하는 것.
• 이론적 및 실증적으로 분산 피어 투 피어 학습에서 DSGT를 사용할 경우, 기존의 피어 투 피어 학습 방법보다 선형 속도 향상과 더 빠른 수렴 속도, 더 적은 통신 라운드 수를 달성함을 입증하는 것.

제안 방법

• 20개의 병원(노드)으로 구성된 완전히 분산된 네트워크를 활용하며, 각 병원은 자체 EHR 데이터를 유지하고 그래프 기반 구조의 토폴로지에 따라 인접한 노드와만 통신한다.
• 국소 확률적 경사 업데이트와 분산 경사 추적(Dispersed Stochastic Gradient Tracking, DSGT)을 통합하여, 데이터 이질성으로 인한 오차를 줄이기 위해 전역 경사의 추정치를 유지한다.
• 각 통신 라운드당 Q회의 국소 업데이트를 수행함으로써, 수렴에 필요한 통신 라운드 수를 감소시킨다.
• 핵심 업데이트 규칙은 단계 크기 α^r ~ O(√(N/r))를 사용하며, 이중 스토하스틱 가중치 행렬 W를 활용하여 노드 간 일치 수렴을 보장한다.
• 이론적으로는 T가 매우 클 경우 최적성 갭이 O(σ²/(N√T))임을 보여주는 수렴 분석에 기반하며, 이는 노드 수에 대해 선형 속도 향상을 나타낸다.
• 수치 실험에서는 실제 알츠하이머병 및 경도 인지 장애(MCI) EHR 데이터셋을 사용하여 42차원 특징을 가진 얕은 신경망을 대상으로 DSGT 기반 피어 투 피어 학습(FD-DSGT)을 DSGD, DSGT, 그리고 피어 투 피어 DSGD와 비교한다.

실험 결과

연구 질문

• RQ1 완전히 분산된 피어 투 피어 학습 프레임워크는 실제 EHR 시스템에서 데이터 기밀성을 유지하면서도 중앙 집중형 훈련과 유사한 모델 성능을 달성할 수 있는가?
• RQ2 국소 업데이트와 분산 경사 추적(DSGT)을 통합함으로써, 비동일하고 이질적인 EHR 데이터에서 통신 효율성과 수렴 속도는 어떻게 향상되는가?
• RQ3 비독립 동일 분포가 아닌 데이터를 가진 분산 환경에서 DSGT 기반 피어 투 피어 학습의 이론적 수렴 행동은 어떠한가? 그리고 노드 수에 대해 선형 속도 향상을 달성하는가?
• RQ4 기존의 피어 투 피어 학습 및 분산 최적화 기준선과 비교했을 때, 제안된 방법은 통신 라운드 수와 최적성 갭 측면에서 어떻게 다른가?

주요 결과

• 제안된 DSGT 기반 완전히 분산된 피어 투 피어 학습은 O(σ²/(N√T))의 수렴 속도를 달성하며, 비볼록 설정에서 DSGT에 대해 이와 같은 이론적 결과를 처음으로 도출함으로써 노드 수에 대해 선형 속도 향상을 입증한다.
• 수치 결과는 FD-DSGT가 전통적인 DSGD 및 DSGT보다 통신 라운드 수 측면에서 훨씬 더 빠르게 수렴하며, 더 작은 최적성 갭을 달성함을 보여준다.
• 그림 2에서 보듯이, 기존의 피어 투 피어 학습보다 통신 라운드 수를 크게 줄였으며, 더 적은 교환 횟수로 낮은 최적성 갭에 도달한다.
• 그림 1의 t-SNE 시각화 결과는 병원 간 데이터 이질성을 확인하여, 비동일한 데이터 분포를 다룰 수 있는 분산 방법의 필요성을 검증한다.
• 알고리즘은 노드 간 일치 수렴을 유지하며, 평균 반복 오차 ‖θ_i^r - θ̄^r‖²가 시간이 지남에 따라 감소함을 보여주어 중앙 집중형 융합 센터 없이도 효과적인 정보 공유가 이루어지고 있음을 시사한다.