[논문 리뷰] A Communication-efficient Algorithm with Linear Convergence for Federated Minimax Learning

Zhenyu Sun, Ermin Wei|arXiv (Cornell University)|2022. 06. 02.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 기울기 추적(GT)을 활용하여 일정한 학습률을 사용할 때 선형 수렴를 달성하는 통신 효율적인 분산 미니맥스 학습 알고리즘인 FedGDA-GT를 제안한다. 이 알고리즘은 중심화된 GDA와 동일한 시간 복잡도인 O(log(1/ε))의 통신 라운드를 가지며, Local SGDA보다 수렴 속도와 정확도에서 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we study a large-scale multi-agent minimax optimization problem, which models many interesting applications in statistical learning and game theory, including Generative Adversarial Networks (GANs). The overall objective is a sum of agents' private local objective functions. We first analyze an important special case, empirical minimax problem, where the overall objective approximates a true population minimax risk by statistical samples. We provide generalization bounds for learning with this objective through Rademacher complexity analysis. Then, we focus on the federated setting, where agents can perform local computation and communicate with a central server. Most existing federated minimax algorithms either require communication per iteration or lack performance guarantees with the exception of Local Stochastic Gradient Descent Ascent (SGDA), a multiple-local-update descent ascent algorithm which guarantees convergence under a diminishing stepsize. By analyzing Local SGDA under the ideal condition of no gradient noise, we show that generally it cannot guarantee exact convergence with constant stepsizes and thus suffers from slow rates of convergence. To tackle this issue, we propose FedGDA-GT, an improved Federated (Fed) Gradient Descent Ascent (GDA) method based on Gradient Tracking (GT). When local objectives are Lipschitz smooth and strongly-convex-strongly-concave, we prove that FedGDA-GT converges linearly with a constant stepsize to global $ε$-approximation solution with $\mathcal{O}(\log (1/ε))$ rounds of communication, which matches the time complexity of centralized GDA method. Finally, we numerically show that FedGDA-GT outperforms Local SGDA.

연구 동기 및 목표

• 분산 미니맥스 학습에서 통신 효율성과 수렴 정확도 사이의 상충 관계를 해결한다.
• 지속적인 기울기 노이즈로 인해 일정한 학습률을 사용할 때 수렴하지 못하는 Local SGDA의 한계를 극복한다.
• 통신 횟수를 최소화하면서도 일정한 학습률을 사용한 선형 수렴를 보장하는 방법을 개발한다.
• 통계적 샘플링 하에 분산 미니맥스 학습을 위한 일반화 한계를 레이먼더 복잡도 분석을 통해 도출한다.
• 기존 방법들인 Local SGDA와 비교하여 뛰어난 실험적 성능을 입증한다.

제안 방법

• 기울기 추적(GT)을 통합한 분산 경사하강상승 알고리즘인 FedGDA-GT를 제안하여 통신 오버헤드를 줄인다.
• 기울기 추적을 도입하여 국소 업데이트 동안 정확한 기울기 추정을 유지함으로써 일정한 학습률에서의 수렴을 가능하게 한다.
• 주기적인 전역 집계를 수행하는 국소 다중 스텝 업데이트를 활용하여 통신 빈도를 감소시킨다.
• empirical 미니맥스 목표함수의 일반화 한계를 도출하기 위해 레이먼더 복잡도 분석을 적용한다.
• 강凸-강미니맥스 및 리프시츠 스무쓰 가정 하에 O(log(1/ε)) 통신 라운드 내에 ε-근사해로의 선형 수렴를 증명한다.
• 기울기 추적의 이론적 분석을 활용하여 감소하는 학습률 없이도 수렴 안정성을 보장한다.

실험 결과

연구 질문

• RQ1 통신 횟수를 최소화하면서도 일정한 학습률을 사용할 때 선형 수렴를 달성할 수 있는 분산 미니맥스 알고리즘이 존재하는가?
• RQ2 다수의 국소 업데이트에도 불구하고 Local SGDA는 왜 일정한 학습률을 사용할 때 정확한 수렴을 이루지 못하는가?
• RQ3 기울기 추적은 표준 국소 업데이트 방식에 비해 분산 미니맥스 환경에서 수렴을 어떻게 향상시키는가?
• RQ4 통계적 샘플링 하에 분산 경험 미니맥스 학습에 대해 어떤 일반화 한계를 설정할 수 있는가?
• RQ5 제안된 방법은 통신 효율성 측면에서 중심화된 GDA의 시간 복잡도를 따라잡을 수 있는가?

주요 결과

• FedGDA-GT는 일정한 학습률을 사용하여 O(log(1/ε)) 통신 라운드 내에 ε-근사해로 선형 수렴를 달성한다.
• 알고리즘은 중심화된 GDA와 동일한 시간 복잡도를 가지며, 이러한 문제에 대해 최적임을 입증한다.
• 수치 실험에서 FedGDA-GT는 Local SGDA를 능가하여 더 빠른 수렴 속도와 높은 정확도를 보였다.
• 전체 샘플 수 N에 대해 동일한 순서인 O(1/√N)의 일반화 한계가 분산 미니맥스 학습에 대해 유도되었다.
• 이론적 분석을 통해 Local SGDA는 지속적인 기울기 노이즈로 인해 일정한 학습률을 사용할 때 정확한 수렴을 이룰 수 없음을 확인하였다.
• 레이먼더 복잡도 분석을 통해 가설 공간의 메트릭 엔트로피와 샘플 크기의 비율에 따라 스케일링되는 일반화 한계가 도출되었다.