[논문 리뷰] Federated Accelerated Stochastic Gradient Descent

Honglin Yuan, Tengyu Ma|arXiv (Cornell University)|2020. 06. 16.

Stochastic Gradient Optimization Techniques참고 문헌 55인용 수 22

한 줄 요약

이 논문은 분산 강凸 최적화에서 수렴 속도와 통신 효율성을 향상시키는, 페더레이티드 어워징(FedAvg)의 증명 가능하게 가속화된 변종인 페더럴 가속화된 확률적 경사 하강법(FedAc)을 제안한다. 새로운 잠재력 기반의 페르터브된 반복 분석을 도입하고 가속화와 안정성 간의 균형을 조절함으로써, FedAc은 FedAvg의 O(M)에서 O(M^{1/3})으로 동기화 라운드 수를 감소시켜 강凸 설정에서 선형 속도 향상을 달성하며, 더 적은 통신 횟수로 더 빠른 수렴을 이룬다.

ABSTRACT

We propose Federated Accelerated Stochastic Gradient Descent (FedAc), a principled acceleration of Federated Averaging (FedAvg, also known as Local SGD) for distributed optimization. FedAc is the first provable acceleration of FedAvg that improves convergence speed and communication efficiency on various types of convex functions. For example, for strongly convex and smooth functions, when using $M$ workers, the previous state-of-the-art FedAvg analysis can achieve a linear speedup in $M$ if given $M$ rounds of synchronization, whereas FedAc only requires $M^{\frac{1}{3}}$ rounds. Moreover, we prove stronger guarantees for FedAc when the objectives are third-order smooth. Our technique is based on a potential-based perturbed iterate analysis, a novel stability analysis of generalized accelerated SGD, and a strategic tradeoff between acceleration and stability.

연구 동기 및 목표

• 페더럴 및 분산 기계 학습에서의 통신 병목 현상을 해결하기 위해 FedAvg를 가속화하는 것.
• 모멘텀을 통한 가속화와 분산 환경에서의 안정성 간의 본질적 갈등을 해결하는 것.
• 수렴 보장이 있으며 통신 효율적인 알고리즘을 개발하여 FedAvg보다 더 빠른 수렴을 달성하는 것.
• 이차 목표 함수를 초월해 일반적이고 강凸 함수에 대해 가속화를 확장하고 통신 효율성을 향상시키는 것.

제안 방법

• FedAc은 M명의 워커를 가진 페더럴 환경에 적합한 일반화된 가속화된 SGD 프레임워크를 도입한다.
• 로컬 반복의 발산을 제어하기 위해 잠재력 기반의 페르터브된 반복 분석을 사용한다.
• 통제된 페르터브레이션 메커니즘을 도입하여 모멘텀 기반의 가속화와 안정성 간의 전략적 균형을 확립한다.
• 가속화된 SGD 변종에 대한 새로운 안정성 분석을 사용하여, 드문 동기화에도 불구하고 전역 최적값에서의 편차가 유한하게 유지됨을 보장한다.
• 모든 M명의 워커를 통해 평균화를 통해 주기적으로 동기화하면서 로컬 업데이트를 유지한다.
• 표준 가정인 미분 가능성, 유한한 분산, 강凸성(가정 1) 하에서 수렴 한계를 유도한다.

실험 결과

연구 질문

• RQ1 가속화(모멘텀을 통한)와 안정성 간의 갈등을 포기하지 않고도 분산 강凸 최적화에서 FedAvg를 증명 가능하게 가속화할 수 있는가?
• RQ2 가속화 방법을 사용할 때 M명의 워커에서 선형 속도 향상을 달성하기 위해 필요한 최소 동기화 라운드 수는 얼마인가?
• RQ3 세계함수의 미분 가능성은 가속화된 페더럴 알고리즘의 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ4 가속화와 안정성 간의 트레이드오프를 수학적으로 형식화하고 이를 통신 효율성 향상에 활용할 수 있는가?
• RQ5 FedAc은 수렴 속도와 통신 비용 측면에서 FedAvg와 표준 미니배치 SGD보다 뛰어나게 성능을 발휘하는가?

주요 결과

• 강凸이고 미분 가능한 함수에 대해, FedAc은 O(M^{1/3})의 동기화 라운드 수로 M에 대해 선형 속도 향상을 달성하며, 이는 FedAvg의 O(M) 요구사항에 비해 상당한 개선이다.
• 표준 가정 하에서 FedAc은 수렴 속도 Õ(1/(MT) + 1/(TR^3))를 달성하며, R이 작을 경우 FedAvg의 Õ(1/(MT) + 1/(TR))보다 뛰어나다.
• 목표 함수가 세계함수의 미분 가능성을 만족할 경우, FedAc은 고차 미분 가능성을 활용하여 수렴 한계를 더욱 강화한다.
• 표준 Nesterov 가속화된 SGD와 달리, FedAc은 모멘텀 기반 가속화에서도 안정적이며, 초기값 페르터브레이션에 대해 불안정하지 않다.
• 특히 일반 강凸 케이스에서 FedAvg와 미니배치 SGD 기준보다 더 뛰어난 통신 효율성을 달성한다.
• 이론적 분석은 FedAc이 가속화를 가능하게 하면서도 안정성을 유지함을 확인하며, 페더럴 최적화의 핵심 과제를 해결한다.