[논문 리뷰] Lower Bounds and Optimal Algorithms for Personalized Federated Learning

Filip Hanzely, Slavomír Hanzely외 2명|arXiv (Cornell University)|2020. 10. 05.

Privacy-Preserving Technologies in Data참고 문헌 55인용 수 64

한 줄 요약

이 논문은 개인화 연합학습( personalized federated learning ) 구성에 대한 하한을 제시하고, FedProx 및 FedAvg/Local SGD의 가속 버전을 포함하여 통신 및 로컬 계산에서 provably optimal인 여러 알고리즘을 제시합니다.

ABSTRACT

In this work, we consider the optimization formulation of personalized federated learning recently introduced by Hanzely and Richtárik (2020) which was shown to give an alternative explanation to the workings of local { t SGD} methods. Our first contribution is establishing the first lower bounds for this formulation, for both the communication complexity and the local oracle complexity. Our second contribution is the design of several optimal methods matching these lower bounds in almost all regimes. These are the first provably optimal methods for personalized federated learning. Our optimal methods include an accelerated variant of { t FedProx}, and an accelerated variance-reduced version of { t FedAvg}/Local { t SGD}. We demonstrate the practical superiority of our methods through extensive numerical experiments.

연구 동기 및 목표

• 믹싱 objective 를 사용하여 로컬 모델 간 차이를 허용하면서 비유사성을 페널티하는 방식으로 연합학습에서의 개인화를 자극한다.
• 개인화된 FL 구성에 대한 통신 및 로컬 계산 복잡도에 대한 하한을 확립한다.
• 다양한 레지임에서 이 하한과 일치하는 최적 알고리즘을 개발하고 분석한다.

제안 방법

• 믹스 FL 목적 F(x) = f(x) + lambda psi(x) 을 연구하고 그 특성을 표기한다.
• 통신 라운드와 로컬 근사/그라디언트/근사 합-오라클 호출의 하한을 도출한다.
• 가속적 근사 그래디언트 하강(APGD) 변형, AGD나 Katyusha 를 로컬 솔버로 사용하는 IAPGD(불완전 APGD), 그리고 가속 L2SGD+ (AL2SGD+) 방법을 포함한 최적 알고리즘을 제시하고 분석한다.
• 로컬 솔버가 최적 속도를 보존하는 한 불완전해질 수 있음을 보인다.
• 람다(lambda) 대 L 의 레지임에서 로컬 및 통신 복잡도를 비교하고 최적성에 대한 조건을 제공한다.
• IAPGD+Katyusha, AL2SGD+, L2SGD+를 데이터셋 및 데이터 분포에 따라 비교하는 실험적 증거를 제공한다.

실험 결과

연구 질문

• RQ1 개인화된 연합학습에서 믹싱 목적을 갖는 경우 통신 및 로컬 계산의 근본적인 하한은 무엇인가?
• RQ2 다양한 오라클 모델(근사, 기울기, 합산 기울기)을 가정할 때 이러한 하한을 달성하는 알고리즘을 설계할 수 있는가?
• RQ3 최적 속도는 L(매끄러움), mu(강한 볼록성), lambda(개인화 강도)에 어떻게 의존하는가?
• RQ4 로컬 솔버의 불완전성이 연합 개인화에서의 실용적 성능에 어떤 영향을 미치는가?

주요 결과

• 최 optimum의 근방으로 수렴하기 위해 필요한 최소 통신 라운드는 O(sqrt(min{L, lambda}/mu) log(1/epsilon)) 이다.
• 로컬 근사/그라디언트/합산 그라디언트 오라클의 복잡성은 각각 해당 설정에서 최소 O(sqrt(min{L, lambda}/mu) log(1/epsilon)) 혹은 O(sqrt(L/mu) log(1/epsilon)) 이다.
• 여러 알고리즘이 서로 다른 레지임에서 이 최적 속도를 달성하며, APGD 변형 및 IAPGD(AGD 또는 Katyusha를 로컬 솔버로 사용)와 최적 통신 및 로컬 그래디언트 복잡도를 달성하는 AL2SGD+를 포함한다.
• IAPGD + Katyusha는 합산-그래디언트 설정에서 거의 최적의 로컬 그래디언트와 함께 최적의 통신을 제공하지만 실험적으로는 추가 로그 인자를 수반할 수 있다; AL2SGD+는 일반적으로 최적의 통신과 유리한 로컬 그래디언트 복잡도를 제공한다.
• 본 연구 결과는 개인화 연합학습에 대해 최초로 증명적으로 최적의 방법들을 제시하고 이질적 데이터 시나리오에서의 로컬 방법 사용을 정당화한다.