[논문 리뷰] A Sharp Estimate on the Transient Time of Distributed Stochastic Gradient Descent

Shi Pu, Alex Olshevsky외 1명|arXiv (Cornell University)|2019. 06. 06.

Stochastic Gradient Optimization Techniques참고 문헌 61인용 수 33

한 줄 요약

요약: 본 논문은 노이즈가 있는 그래디언트 정보를 가진 네트워크에서 평균 비용을 최소화하기 위한 DSGD를 분석하고, 전이 시간이 점근 속도에 도달하는 것은 Θ(n/(1−ρ_w)^2)이며, 구성된 난이도 높은 문제를 통해 이 샤프함을 보인다.

ABSTRACT

This paper is concerned with minimizing the average of $n$ cost functions over a network in which agents may communicate and exchange information with each other. We consider the setting where only noisy gradient information is available. To solve the problem, we study the distributed stochastic gradient descent (DSGD) method and perform a non-asymptotic convergence analysis. For strongly convex and smooth objective functions, DSGD asymptotically achieves the optimal network independent convergence rate compared to centralized stochastic gradient descent (SGD). Our main contribution is to characterize the transient time needed for DSGD to approach the asymptotic convergence rate, which we show behaves as $K_T=\mathcal{O}\left(\frac{n}{(1-ρ_w)^2} ight)$, where $1-ρ_w$ denotes the spectral gap of the mixing matrix. Moreover, we construct a "hard" optimization problem for which we show the transient time needed for DSGD to approach the asymptotic convergence rate is lower bounded by $Ω\left(\frac{n}{(1-ρ_w)^2} ight)$, implying the sharpness of the obtained result. Numerical experiments demonstrate the tightness of the theoretical results.

연구 동기 및 목표

• 에이전트들이 노이즈가 있는 그래디언트 정보를 이용해 로컬 강하게 볼록하고 매끄러운 비용의 평균을 최소화하는 분산 최적화를 동기화하는 것을 동기로 삼는다.
• DSGD의 비점근적 수렴 분석을 제공하고, 그것이 점근적으로 중앙집중식 SGD와 일치함을 보인다.
• DSGD가 최적 수렴 속도에 도달하기 위한 전이 시간을 특징짓는다.
• 전이 시간 경계의 샤프함을 입증하는 하한을 확립한다.
• 일반적인 토폴로지에서 수치 실험으로 결과를 보여준다.

제안 방법

• 업데이트 x_i(k+1) = ∑_j w_ij (x_j(k) - α_k g_j(k))를 갖는 DSGD를 연구한다.
• 모든 f_i에 대해 μ-강볼록성(μ-strong convexity)과 L-리프시츠 연속인 그래디언트를 가정한다.
• 최적화 오차 U(k)와 합의 오차 V(k)에 대한 비점근적(비점근) 상한을 도출한다.
• 스텝사이즈 정책 α_k = θ/(μ(k+K))를 도입하고 수렴을 보장하기 위해 K를 결정한다.
• 전이 시간의 상한 K_T = O(n/(1−ρ_w)^2)을 증명한다.
• 일치하는 하한 Ω(n/(1−ρ_w)^2)을 확립하기 위해 난이도가 높은 문제를 구성한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 그래디언트 하에서 강하게 볼록하고 매끄러운 목적함수에 대해 DSGD의 비점근적 수렴 속도는 무엇인가?
• RQ2 DSGD가 네트워크에 의존하지 않는 점근 속도에 도달하는 데 몇 번의 반복(iterations)이 필요한가?
• RQ3 최적 속도 달성을 위한 전이 시간 경계가 샤프한가?
• RQ4 네트워크 특성(예: 스펙트럼 간격(1−ρ_w))과 문제 크기 n이 수렴 및 합의에 어떻게 영향을 미치는가?
• RQ5 일반적인 토폴로지에서 수치 실험이 이론적 전이 시간 경계를 확인하는가?

주요 결과

• DSGD는 점근적으로 중앙 집중식 SGD에 비해 네트워크와 무관한 최적 수렴 속도를 달성한다.
• 이 속도에 도달하는 전이 시간은 특정 조건하에 O(n/(1−ρ_w)^2)로 스케일링된다.
• 전이 시간에 대해 일치하는 Ω(n/(1−ρ_w)^2) 하한을 보이는 난이한 최적화 문제를 구성한다.
• 링 및 사각 격자 토폴로지에서 이론 결과의 타이트함을 확인하는 수치 실험을 제시한다.
• 해석은 전이 시간을 혼합 행렬의 스펙트럼 간격과 문제/알고리즘 매개변수에 연결한다.