[논문 리뷰] A Unified Analysis of Stochastic Gradient Methods for Nonconvex Federated Optimization

Zhize Li, Peter Richtárik|arXiv (Cornell University)|2020. 06. 12.

Stochastic Gradient Optimization Techniques참고 문헌 39인용 수 24

한 줄 요약

이 논문은 비볼록 분산 최적화에서 확률적 경사 하강법의 통합 수렴 분석을 제안함으로써, 확률적 경사의 두 번째 모멘트에 대한 유연한 가정을 도입한다. 이는 SGD, SVRG, SAGA 및 압축 통신 변형을 포함한 다양한 방법의 분석을 통합하여, 표준 조건 하에서 날카운 수렴 속도를 제공하고 이전에 분석되지 않은 방법에 대해서는 새로운 결과를 도출한다.

ABSTRACT

In this paper, we study the performance of a large family of SGD variants in the smooth nonconvex regime. To this end, we propose a generic and flexible assumption capable of accurate modeling of the second moment of the stochastic gradient. Our assumption is satisfied by a large number of specific variants of SGD in the literature, including SGD with arbitrary sampling, SGD with compressed gradients, and a wide variety of variance-reduced SGD methods such as SVRG and SAGA. We provide a single convergence analysis for all methods that satisfy the proposed unified assumption, thereby offering a unified understanding of SGD variants in the nonconvex regime instead of relying on dedicated analyses of each variant. Moreover, our unified analysis is accurate enough to recover or improve upon the best-known convergence results of several classical methods, and also gives new convergence results for many new methods which arise as special cases. In the more general distributed/federated nonconvex optimization setup, we propose two new general algorithmic frameworks differing in whether direct gradient compression (DC) or compression of gradient differences (DIANA) is used. We show that all methods captured by these two frameworks also satisfy our unified assumption. Thus, our unified convergence analysis also captures a large variety of distributed methods utilizing compressed communication. Finally, we also provide a unified analysis for obtaining faster linear convergence rates in this nonconvex regime under the PL condition.

연구 동기 및 목표

• 단일이고 탄력적인 가정 하에 광범위한 확률적 경사 하강법의 비볼록 최적화에서의 수렴 분석을 통합하기 위해.
• 플러그인 수렴 보장을 갖는 새로운 SGD 변형의 설계를 촉진하기 위해, 분산 학습에서의 SGD, SVRG, SAGA 및 그 압축 통신 변형과 같은 기존 방법들을 하나의 이론적 프레임워크로 포괄하기 위해.
• 기존 및 새로운 방법(경사 압축 및 분산 감소를 포함)에 대해 날카운 수렴 속도를 유도하기 위해.
• 수렴 분석을 PL 조건 영역으로 확장하여 다양한 알고리즘에 대해 선형 수렴 속도를 달성하기 위해.
• 제안된 프레임워크를 활용해 플러그인 수렴 보장을 갖는 새로운 SGD 변형의 설계를 용이하게 하기 위해.

제안 방법

• 계수 $ A_1, B_1, C_1, D_1, \sigma_k^2, \rho $로 매개화된 확률적 경사의 두 번째 모멘트에 대한 통합 가정을 제안하여 다양한 경사 추정기의 특성을 포괄한다.
• 압축된 통신를 갖는 분산 비볼록 최적화를 위한 두 가지 알고리즘 프레임워크—DC(직접 압축) 및 DIANA(경사 차이의 압축)—를 개발한다.
• DC 및 DIANA 프레임워크 내 모든 방법이 제안된 통합 가정을 만족함을 입증하여 단일 수렴 분석이 가능하도록 한다.
• 표준 미분 가능성 및 유한한 경사 제약 조건 하에서 비볼록 문제에 대한 통합 수렴 정리를 도출한다.
• Polyak-Łojasiewicz(PL) 조건으로의 분석 확장을 통해 동일한 방법군에 대해 선형 수렴 속도를 도출한다.
• 기대 최적성의 상한과 반복 복잡도 상한을 유도하기 위해 파rameter $ A_2, B_2, C_2 $를 갖는 재귀 부등식 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 비볼록 최적화에서 다양한 SGD 변형의 수렴 분석을 단일 이론적 프레임워크로 통합할 수 있는가?
• RQ2 경사 압축과 분산 감소를 어떻게 동일한 이론적 우산 아래에서 체계적으로 분석할 수 있는가?
• RQ3 제안된 통합 프레임워크의 특수한 경우로 나타나는 새로운 방법에 대해 도출할 수 있는 수렴 속도는 무엇인가?
• RQ4 분석을 PL 조건 영역으로 확장하여 광범위한 방법군에 대해 선형 수렴 속도를 달성할 수 있는가?
• RQ5 통합 프레임워크 하에서 DIANA-LSVRG 및 DIANA-SAGA와 같은 방법에 대해 도달 가능한 가장 날카운 반복 복잡도 상한은 무엇인가?

주요 결과

• 제안된 통합 가정은 SGD, SVRG, SAGA 및 그 압축 변형을 포괄하여 단일 수렴 분석이 가능하다.
• 통합 분석은 기존의 최고 수준의 수렴 속도를 회복하거나 이를 향상시킨다. 예를 들어 SGD 및 L-SVRG와 같은 고전적 방법에 대해.
• PL 조건 하에서 DIANA-LSVRG 방법의 반복 복잡도는 $ K = \left(1 + \frac{2(1+\omega)B'}{mb\rho}\right)\frac{L}{\mu}\log\frac{2\Delta_0}{\epsilon} $로 유계이며, 압축 및 분산 감소에 대한 명시적 의존성이 있다.
• DIANA-SAGA 방법은 PL 조건 하에서 선형 수렴을 달성하며 반복 복잡도는 $ K = \left(1 + \frac{2(1+\omega)B'}{mb\rho}\right)\frac{L}{\mu}\log\frac{2\Delta_0}{\epsilon} $이다. 여기서 $ B' = (1 - \frac{b}{n})\bar{L}^2\eta^2\gamma^{-1} + Bb^{-1} $이다.
• 이 프레임워크는 이전에 분석되지 않은 방법, 예를 들어 압축된 SAGA 및 유한합 목표 함수를 갖는 DIANA 유형 변형에 대한 수렴 보장을 가능하게 한다.
• 분석 결과, DIANA를 통한 경사 압축은 표준 방법과 동일한 조건 하에서 수렴을 유지하며, 상수의 약간의 열화 외에는 영향을 미치지 않는다.