[논문 리뷰] A Non-Asymptotic Analysis of Network Independence for Distributed Stochastic Gradient Descent

Alex Olshevsky, Ioannis Ch. Paschalidis외 1명|arXiv (Cornell University)|2019. 06. 06.

Stochastic Gradient Optimization Techniques참고 문헌 36인용 수 15

한 줄 요약

이 논문은 노이즈가 있는 기울기 정보를 갖는 네트워크에서 분산 확률적 경사하강법(DSGD)의 점근적이지 않은 수렴 분석을 제공한다. DSGD가 강凸성과 미끄러움 조건을 만족하는 함수에 대해 네트워크에 의존하지 않는 최적의 수렴 속도를 달성함을 입증하며, 수렴 시간은 $\mathcal{O}(n / (1 - \rho_w)^2)$로 스케일링된다. 여기서 $\rho_w$는 혼합 행렬의 스펙트럼 반경이다.

ABSTRACT

This paper is concerned with minimizing the average of $n$ cost functions over a network, in which agents may communicate and exchange information with their peers in the network. Specifically, we consider the setting where only noisy gradient information is available. To solve the problem, we study the standard distributed stochastic gradient descent (DSGD) method and perform a non-asymptotic convergence analysis. For strongly convex and smooth objective functions, we not only show that DSGD asymptotically achieves the optimal network independent convergence rate compared to centralized stochastic gradient descent (SGD), but also explicitly identify the non-asymptotic convergence rate as a function of characteristics of the objective functions and the network. Furthermore, we derive the time needed for DSGD to approach the asymptotic convergence rate, which behaves as $K_T=\mathcal{O}(\frac{n}{(1- ho_w)^2})$, where $(1- ho_w)$ denotes the spectral gap of the mixing matrix of communicating agents.

연구 동기 및 목표

• 네트워크 기반 시스템에서 분산 확률적 경사하강법(DSGD)의 점근적이지 않은 수렴 행동을 분석하는 것.
• 노이즈가 있는 기울기 조건 하에서 DSGD가 중심화된 SGD와 동일한 수렴 속도를 달성하는지 확인하는 것.
• DSGD가 점근적 수렴 속도에 도달하는 데 소요되는 시간을 정량화하는 것.
• 수렴 속도가 네트워크 구조와 목적 함수 성질에 어떻게 영향을 받는지 기술하는 것.
• 혼합 행렬의 스펙트럼 간격이 수렴 역학을 결정하는 데 수행하는 역할을 규명하는 것.

제안 방법

• 분석은 $n$개의 비용 함수의 평균을 최소화하는 에이전트의 네트워크를 대상으로 하며, 오직 노이즈가 있는 기울기 정보만을 사용한다.
• 강凸성과 미끄러움 조건을 만족하는 목적 함수에 대해 점근적이지 않은 수렴 속도를 유도한다.
• 수렴 속도는 목적 함수의 조건수, 기울기 노이즈의 분산, 혼합 행렬의 스펙트럼 간격에 대한 함수로 표현된다.
• 점근적 수렴 속도에 도달하는 데 소요되는 시간을 분석하고, 이가 $\mathcal{O}(n / (1 - \rho_w)^2)$로 스케일링됨을 보여준다. 여기서 $\rho_w$는 혼합 행렬의 스펙트럼 반경이다.
• 수렴 분석은 마코프 체인 이론과 행렬 농도 기법을 활용하여 분산 평균과 경사하강 단계의 오차를 근사한다.
• 이 방법은 수렴 상한 내에서 최적화 오차와 네트워크 통신 오차의 영향을 명시적으로 분리한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 기울기 조건 하에서 분산 확률적 경사하강법(DSGD)이 중심화된 SGD와 동일한 점근적이지 않은 수렴 속도를 달성하는가?
• RQ2 혼합 행렬의 스펙트럼 간격으로 기술된 네트워크 구조는 DSGD의 수렴 시간에 어떻게 영향을 미치는가?
• RQ3 수렴 속도가 조건수와 기울기 노이즈 분산에 어떻게 명시적으로 의존하는가?
• RQ4 DSGD가 점근적 수렴 속도에 도달하기 시작하는 시점은 언제인가?
• RQ5 장기적으로 DSGD의 수렴 행동은 네트워크 크기와 독립적으로 기술될 수 있는가?

주요 결과

• DSGD는 강凸성과 미끄러움 조건을 만족하는 함수에 대해 네트워크에 의존하지 않는 최적의 수렴 속도를 달성하며, 중심화된 SGD와 동일한 속도를 보인다.
• 점근적이지 않은 수렴 속도는 조건수, 기울기 노이즈 분산, 혼합 행렬의 스펙트럼 간격에 대해 명시적으로 기술된다.
• DSGD가 점근적 수렴 속도에 도달하는 데 소요되는 시간은 $\mathcal{O}(n / (1 - \rho_w)^2)$로 스케일링되며, 여기서 $\rho_w$는 혼합 행렬의 스펙트럼 반경이다.
• 점근적 영역에서는 수렴 속도가 네트워크 크기와 독립적이며, 네트워크 독립성의 확인이 이루어진다.
• 스펙트럼 간격 $1 - \rho_w$는 알고리즘이 최적의 수렴 속도에 도달하는 데 얼마나 빠른지 결정하는 데 핵심적인 역할을 한다.
• 분석 결과, 목적 함수가 강凸성과 미끄러움 조건을 만족하는 한, DSGD는 노이즈가 있는 기울기 정보 조건 하에서도 최적의 성능을 유지함을 확인한다.