[논문 리뷰] FedSplit: An algorithmic framework for fast federated optimization

Reese Pathak, Martin J. Wainwright|arXiv (Cornell University)|2020. 05. 11.

Stochastic Gradient Optimization Techniques참고 문헌 28인용 수 81

한 줄 요약

FedSplit은 연합 분산 환경에서 분산 볼록 최소화에 대한 연산자 분할 프레임워크를 도입하여 올바른 고정점들을 보장하고, 근사적 근접 업데이트와 다양한 스무니스/강볼록성 조건 하에서 수렴 보장을 제공합니다.

ABSTRACT

Motivated by federated learning, we consider the hub-and-spoke model of distributed optimization in which a central authority coordinates the computation of a solution among many agents while limiting communication. We first study some past procedures for federated optimization, and show that their fixed points need not correspond to stationary points of the original optimization problem, even in simple convex settings with deterministic updates. In order to remedy these issues, we introduce FedSplit, a class of algorithms based on operator splitting procedures for solving distributed convex minimization with additive structure. We prove that these procedures have the correct fixed points, corresponding to optima of the original optimization problem, and we characterize their convergence rates under different settings. Our theory shows that these methods are provably robust to inexact computation of intermediate local quantities. We complement our theory with some simple experiments that demonstrate the benefits of our methods in practice.

연구 동기 및 목표

• 제한된 통신을 갖는 허브-스포크 모델에서 연합 최적화를 동기부여한다.
• 기존 연합 방법의 고정점을 분석하고 정확성 문제를 식별한다.
• 최적의 고정점을 보존하는 연산자 분할 프레임워크로서 FedSplit를 제안한다.
• 근사적 근접 계산과 표준 볼록성/스무스성 가정하에서 수렴 보장을 제공한다.

제안 방법

• 합의 제약 x_1=...=x_m를 갖는 F(x)=sum_j f_j(x_j) 형태로 분산 문제를 형식화한다.
• 피스만-래치포드 분할을 적용하여 로컬 근접 업데이트와 전역 평균화 단계가 있는 FedSplit 알고리즘을 구성한다.
• FedSplit의 고정점이 원래의 분산 문제의 최적 해에 해당함을 보인다(제3정리).
• 강한 볼록성 및 스무스성 하에서 근사적 근접 업데이트(Theorem 1)와 그래디언트 기반 근접 근사(Corollary 1)를 포함한 수렴 결과를 제공한다.
• 기존 FedSGD 및 FedProx 방법의 동작을 분석하고 그들의 고정점이 최적이 아닐 수 있음을 강조한다(섹션 2).

실험 결과

연구 질문

• RQ1 FedSGD와 FedProx가 분산 볼록 연합 문제에 대해 올바른 고정점을 보존하는가?
• RQ2 연산자 분할 접근법으로 원래의 연합 최적화 목적과 일치하는 고정점을 얻을 수 있는가?
• RQ3 FedSplit 방법은 어떤 조건에서 수렴하며, 근사적 근접 계산이 수렴에 어떤 영향을 미치는가?
• RQ4 강한 볼록성과 스무스성 매개변수는 FedSplit의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 실무에서 근사적 근접 업데이트가 전체 수렴에 미치는 영향은 무엇인가?

주요 결과

• FedSGD 및 FedProx의 기존 결정적 유사체는 볼록 연합 문제에서 비최적 고정점으로 수렴할 수 있다.
• FedSplit은 원래의 분산 문제에 대해 최적의 고정점을 보존한다(로컬 변수의 평균이 최소해를 산출).
• 강한 볼록성 및 스무스성 하에서 근사적 근접 업데이트가 있어도 FedSplit은 최적해로 기하적 수렴을 달성한다(정리 1).
• 정확한 근접 평가를 사용할 때 FedSplit은 조건수 κ에 비례하는 속도로 수렴하고, 근사 업데이트의 경우도 근접 오차에 의존하는 한계 내에서 수렴이 유지된다(정리 1).
• 그래디언트 스텝을 통한 근사 근접 업데이트도 수렴 보장을 유지할 수 있으며, 오차는 그래디언트 스텝 수에 비례해 지수적으로 감소한다(코롤로리 1).