[논문 리뷰] Federated Learning with Server Learning: Enhancing Performance for Non-IID Data

Van Sy Mai, Richard J. La외 1명|arXiv (Cornell University)|2022. 10. 06.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 비독립identically distributed (non-IID) 데이터 하에서 피어드 학습(FL) 성능을 향상시키기 위해 중심 서버가 소규모 비공개 데이터셋을 활용해 보조 학습을 수행할 수 있도록 하는 새로운 접근법인 연합 서버 학습(Federated Server Learning, FSL)을 제안한다. 제한된 또는 분포가 다를 수 있는 서버 데이터 조건 하에서도 기존의 FedAvg, SCAFFOLD, FedDyn 등의 기법들과 비교해 FSL은 모델 정확도와 수렴 속도를 크게 향상시킨다.

ABSTRACT

Federated Learning (FL) has emerged as a means of distributed learning using local data stored at clients with a coordinating server. Recent studies showed that FL can suffer from poor performance and slower convergence when training data at clients are not independent and identically distributed. Here we consider a new complementary approach to mitigating this performance degradation by allowing the server to perform auxiliary learning from a small dataset. Our analysis and experiments show that this new approach can achieve significant improvements in both model accuracy and convergence time even when the server dataset is small and its distribution differs from that of the aggregated data from all clients.

연구 동기 및 목표

• 클라이언트의 데이터가 비독립identically distributed일 경우 발생하는 성능 저하 문제를 해결하기 위해.
• 일반적으로 수동으로 간주되는 중심 서버가 보조 학습을 통해 FL 성능을 능동적으로 향상시킬 수 있는지 탐색하기 위해.
• 서버 데이터 크기와 분포 간의 이질성(분포 차이)이 FL 성능에 미치는 영향을 평가하기 위해.
• 서버 학습이 기존의 FL 기법들과의 조합이 가능하고 경량의 보완 기법이 될 수 있음을 보여주기 위해.

제안 방법

• 서버는 클라이언트 데이터와는 별개인 소규모 비공개 데이터셋을 활용해 국지적 모델을 학습시켜, 글로벌 모델 업데이트의 기준으로 활용한다.
• 클라이언트 모델 업데이트와 서버 모델 업데이트를 加权 조합하여 글로벌 모델을 업데이트하며, 기여도를 조절하기 위해 학습 가능한 서버 가중치 γ를 도입한다.
• 서버 지식을 서버 손실 항목을 통해 통합하는 정규화된 최적화 목표함수를 도입하여 글로벌 최적점과의 일치도를 향상시킨다.
• 기존의 FL 프레임워크와 호환되며, SCAFFOLD나 FedDyn과 같은 기법들과도 조합 가능하다.
• 서버 데이터셋은 실제 데이터, 합성 데이터, 또는 시뮬레이션 데이터일 수 있어, 제한된 데이터 조건에서도 실용적인 구현이 가능하다.
• 학습률 스케줄링과 정규화를 활용해 학습 안정성과 수렴 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 중심 서버가 소규모 데이터셋에서 보조 학습을 수행함으로써 연합 학습 성능을 향상시킬 수 있는가?
• RQ2 서버 데이터와 클라이언트 데이터 간의 분포 이질성이 성능 향상에 미치는 영향은 어떠한가?
• RQ3 서버 데이터셋의 크기가 모델 정확도 향상과 수렴 속도 향상에 영향을 미치는가?
• RQ4 비독립identically distributed 조건 하에서 기존의 최첨단 FL 알고리즘인 SCAFFOLD나 FedDyn을 능가할 수 있는가?
• RQ5 서버 데이터가 합성적으로 생성되었거나 다른 도메인에서 유래된 경우에도 서버 학습의 이점이 견고한가?

주요 결과

• FSL은 1,000라운드 후 CIFAR-10에서 C=2(매우 비독립identically distributed) 조건에서 0.6144의 테스트 정확도를 기록했으며, 이는 FedDyn(0.5779)을 능가하는 성능이다.
• CIFAR-10에서 C=2 조건에서 FSL은 203라운드 만에 50% 정확도를 달성했고, 이는 FedDyn의 502라운드 대비 빠른 수렴을 보였다.
• 합성 서버 데이터(FSLsyn) 조건에서도 EMNIST에서는 FSL과 유사한 성능를 기록했고, CIFAR-10에서는 약간 열등하지만 여전히 FSL을 능가하는 결과를 보였다.
• 서버 데이터 크기를 250에서 500으로 늘임으로써 CIFAR-10에서 FSL의 정확도가 0.5835에서 0.5845로 향상되어 더 많은 데이터가 실질적인 이점이 있음을 입증했다.
• 실제 서버 데이터(n₀=250)를 사용한 FSL은 더 큰 합성 데이터(n₀=720)를 사용한 FSLsyn보다 성능이 뛰어나, 데이터 분포가 크기보다 더 중요한 요소임을 시사한다.
• 하이퍼파rameter 선택에 대해 뛰어난 내성성을 보였으며, 다양한 학습률과 정규화 파rameter 조건에서도 안정적인 성능을 유지했다.