[논문 리뷰] MetaFed: Federated Learning among Federations with Cyclic Knowledge Distillation for Personalized Healthcare

Yiqiang Chen, Lu Wang외 3명|arXiv (Cornell University)|2022. 06. 17.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

MetaFed는 중앙 서버 없이 사이클식 지식 정련을 통해 개인화된 모델을 가능하게 하는 서버리스 분산 학습 프레임워크를 제안한다. 이는 실세계 파킨슨병 떨림 감지에서 FedAvg 및 FedProx보다 최대 16.11% 높은 정확도를 달성하며, 통신 비용을 줄이고 데이터 이질성 문제를 효과적으로 해결한다.

ABSTRACT

Federated learning has attracted increasing attention to building models without accessing the raw user data, especially in healthcare. In real applications, different federations can seldom work together due to possible reasons such as data heterogeneity and distrust/inexistence of the central server. In this paper, we propose a novel framework called MetaFed to facilitate trustworthy FL between different federations. MetaFed obtains a personalized model for each federation without a central server via the proposed Cyclic Knowledge Distillation. Specifically, MetaFed treats each federation as a meta distribution and aggregates knowledge of each federation in a cyclic manner. The training is split into two parts: common knowledge accumulation and personalization. Comprehensive experiments on three benchmarks demonstrate that MetaFed without a server achieves better accuracy compared to state-of-the-art methods (e.g., 10%+ accuracy improvement compared to the baseline for PAMAP2) with fewer communication costs.

연구 동기 및 목표

• 중앙 서버나 고위 협의 기관에 대한 신뢰가 없는 독립된 의료 기관(연합) 간 분산 학습을 해결하기 위해.
• 의료 응용 분야에서 특히 특성 및 레이블 이동이 발생하는 데이터 이질성 문제를 극복하기 위해.
• 데이터 프라이버시를 유지하면서도 연합 간 지식 공유를 가능하게 하는 개인화된 분산 학습 프레임워크를 개발하기 위해.
• 실세계 의료 환경, 예를 들어 파킨슨병 모니터링에서 통신 비용을 줄이고 정확도를 향상시키기 위해.
• 평가된 벤치마크를 넘어서 다양한 의료 응용 분야에 적용 가능한 확장성 있고 유연한 프레임워크를 제공하기 위해.

제안 방법

• MetaFed는 각 연합을 메타 분포로 간주하고, 서버리스 방식으로 사이클식 지식 정련을 통해 반복적으로 공통 지식을 연합 간 이동시킨다.
• 이 프레임워크는 두 단계로 운영된다: 고정된 초모수를 사용한 공통 지식 축적 단계, 그리고 적응형 초모수를 사용한 개인화 단계.
• 지식 정련은 연합 간 순환 순서로 적용되며, 각 연합의 모델이 다음 연합의 모델에 대해 교사 모델 역할을 하여, 정제된 지식만 공유함으로써 프라이버시를 유지한다.
• 이 방법은 모델 정련을 활용해 표현을 정렬하고, 이질적인 데이터 분포 간의 특성 이동 및 레이블 이동 문제를 완화한다.
• 이 프레임워크는 기존의 FedAvg 또는 FedProx와 같은 분산 학습 방법과 통합할 수 있어 확장성이 있다.
• 실세계 의료 응용 분야에서 시계열 분류를 위해 두 개의 컨볼루션 레이어, 배치 정규화, 완전 연결 레이어를 포함한 CNN 기반 모델을 사용한다.

Figure 1: Issues in meta federated learning.

실험 결과

연구 질문

• RQ1 중앙 서버나 지배 기관에 대한 신뢰가 없는 독립된 연합 간에 분산 학습을 효과적으로 확장할 수 있는가?
• RQ2 높은 데이터 이질성이 존재하는 연합 간에 공통 지식를 축적하고 개인화된 모델을 학습할 수 있는가?
• RQ3 실세계 의료 응용 분야에서 정확도와 통신 효율성 측면에서 기존의 분산 학습 방법보다 사이클식 지식 정련이 뛰어나게 성능을 내는가?
• RQ4 의료 시계열 데이터에서 센서 차이 등 특성 이동과 데이터 분포 변화 등 레이블 이동 상황에서 MetaFed는 어떻게 성능을 내는가?
• RQ5 MetaFed는 실세계 의료 시스템, 예를 들어 모바일 기반 파킨슨병 평가 도구와 같이 실질적으로 구현 가능한가?

주요 결과

• 파킨슨병 떨림 감지에서 MetaFed는 평균 정확도 87.42%를 달성했으며, 동일한 벤치마크에서 FedAvg(71.31%), FedProx(71.32%), FedBN(80.94%)보다 뛰어난 성능을 보였다.
• PAMAP2 데이터셋에서 MetaFed는 기준 모델 대비 정확도를 10% 이상 향상시켜 인간 활동 인식에서 뛰어난 성능을 입증했다.
• 파킨슨병 떨림 응용 분야에서 MetaFed는 FedAvg 대비 16.11% 정확도 향상을 기록했으며, FedBN 대비 6.48% 향상되었고, 특히 특성 이동 상황에서 뛰어난 성능을 보였다.
• 최신 기술 대비 통신 라운드 수를 줄여 통신 비용을 낮추는 데 기여했다.
• 질병 유병률 변화 등 레이블 이동 상황에서도 뛰어난 강건성을 보였으며, FedBN는 성능이 저하되었지만 MetaFed는 높은 정확도를 유지했다.
• MetaFed는 실세계 모바일 기반 파킨슨병 평가 도구(PDAssist)에 성공적으로 적용되어 임상 환경에서의 실용성을 입증했다.

Figure 2: The structure of MetaFed for federated learning among federations. Stage I is the common knowledge accumulation stage where the model is sent after local training. Stage II is the personalization stage where the common knowledge model is sent before local training.