[논문 리뷰] FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data

Xinwei Zhang, Mingyi Hong외 3명|arXiv (Cornell University)|2020. 05. 22.

Stochastic Gradient Optimization Techniques참고 문헌 33인용 수 53

한 줄 요약

FedPD는 비 IID 데이터 하에서 최적의 최적화 및 통신 속도를 달성하는 primal-dual 연합 학습 프레임워크이며, 데이터 이질성에 대응하는 적응형 통신 패턴을 제공합니다. CTA-flavored FL을 형식적으로 분석하고, 비-볼록 목적에도 작동하는 알고리즘을 제공합니다.

ABSTRACT

Federated Learning (FL) has become a popular paradigm for learning from distributed data. To effectively utilize data at different devices without moving them to the cloud, algorithms such as the Federated Averaging (FedAvg) have adopted a "computation then aggregation" (CTA) model, in which multiple local updates are performed using local data, before sending the local models to the cloud for aggregation. However, these schemes typically require strong assumptions, such as the local data are identically independent distributed (i.i.d), or the size of the local gradients are bounded. In this paper, we first explicitly characterize the behavior of the FedAvg algorithm, and show that without strong and unrealistic assumptions on the problem structure, the algorithm can behave erratically for non-convex problems (e.g., diverge to infinity). Aiming at designing FL algorithms that are provably fast and require as few assumptions as possible, we propose a new algorithm design strategy from the primal-dual optimization perspective. Our strategy yields a family of algorithms that take the same CTA model as existing algorithms, but they can deal with the non-convex objective, achieve the best possible optimization and communication complexity while being able to deal with both the full batch and mini-batch local computation models. Most importantly, the proposed algorithms are {\it communication efficient}, in the sense that the communication pattern can be adaptive to the level of heterogeneity among the local data. To the best of our knowledge, this is the first algorithmic framework for FL that achieves all the above properties.

연구 동기 및 목표

• FedAvg의 비 IID 데이터 하에서의 한계와 CTA 프로토콜에 대한 이해를 촉진한다.
• 비-IID 설정에서 최적의 최적화 및 통신 복잡도를 달성하는 프레임워크를 개발한다.
• 데이터 이질성에 맞춰 통신을 유연하게 조정하는 알고리즘 설계를 제공한다.
• 최소한의 가정 A1–A2 하에서 수렴 결과를 확립하고 통신을 절약할 수 있는 경우를 규정한다.

제안 방법

• 합의 변수와 함께 제한된 문제로 연합 학습을 구성하고 보강 라그랑주 항을 사용한다.
• FedPD를 프라이멀-듀얼 메타 알고리즘으로 도입하고, 통신 라운드 사이의 로컬 처리를 모델링하는 오라클을 포함한다.
• 샘플 복잡도를 개선하기 위한 두 가지 구체적 로컬 오라클(GD 유사 및 SGD 유사)과 분산 감소 버전을 제공한다.
• 통신과 정확도 간의 트레이드오프를 위해 비-IID 매개변수 delta에 따라 집계 주기 p를 어떻게 적응시킬 수 있는지 정량화한다.
• delta-non-IID 데이터 및 비-볼록 목적에서 최적의 통신 복잡도를 보이는 수렴 결과를 증명한다(정리 1).
• CTA 프레임워크 내에서 FedPD가 FedProx 및 FedDANE에 비해 개선점을 강조하고 약한 가정을 제시한다.

실험 결과

연구 질문

• RQ1 Q1 CTA에 따라 에이전트가 전체 시스템 성능을 달성하기 위한 최적의 로컬 업데이트 방향은 무엇인가?
• RQ2 Q2 더 정교한 집계가 단순 평균화를 넘어 샘플 또는 통신 복잡도를 개선할 수 있는가?
• RQ3 Q3 통신 사이에 여러 로컬 업데이트를 수행하면 통신 비용이 줄어드는가?
• RQ4 Q4 최소한의 문제 가정(A1–A2) 하에서 CTA-type 알고리즘으로 달성 가능한 최상의 성능은 무엇인가? (A1–A2)

주요 결과

• CTA-based local gradient updates alone cannot beat O(1/epsilon) communication rounds under non-convex objectives.
• FedPD can achieve optimal optimization and communication complexity in non-IID settings, with convergence under A1–A2.
• The aggregation-skip probability p adapts to delta-non-IID, yielding linear-logarithmic communication savings as shown in theory and figures.
• FedPD with Oracle I (GD/SGD) achieves convergence with adaptive communication, and Oracle II (variance reduction) improves sample complexity.
• Communication savings increase as data become more IID (delta -> 0) and decrease as non-IID-ness grows (delta large).
• FedPD provides better theoretical guarantees and weaker assumptions than FedProx and FedDANE within the CTA framework.