[논문 리뷰] Improving the Transient Times for Distributed Stochastic Gradient Methods

Kun Huang, Shi Pu|arXiv (Cornell University)|2021. 05. 11.

Distributed Control Multi-Agent Systems참고 문헌 35인용 수 5

한 줄 요약

이 논문은 정확한 확산(Exact Diffusion)과 NIDS를 기반으로 하는 분산 확률적 경사 하강법 EDAS를 제안한다. 이는 강凸이고 미세한 목적 함수에 대해 알려진 바 중 가장 짧은 전이 시간 $\mathcal{O}\left(\frac{n}{1-\lambda_2}\right)$ 를 달성한다. 중심화된 SGD의 점근적 수렴 속도를 유지하면서도 그에 도달하는 데 걸리는 시간을 크게 줄여, DSGD와 같은 이전 방법들보다 네트워크 의존적인 전이 성능에서 뛰어나다.

ABSTRACT

We consider the distributed optimization problem where $n$ agents each possessing a local cost function, collaboratively minimize the average of the $n$ cost functions over a connected network. Assuming stochastic gradient information is available, we study a distributed stochastic gradient algorithm, called exact diffusion with adaptive stepsizes (EDAS) adapted from the Exact Diffusion method and NIDS and perform a non-asymptotic convergence analysis. We not only show that EDAS asymptotically achieves the same network independent convergence rate as centralized stochastic gradient descent (SGD) for minimizing strongly convex and smooth objective functions, but also characterize the transient time needed for the algorithm to approach the asymptotic convergence rate, which behaves as $K_T=\mathcal{O}\left(\frac{n}{1-λ_2} ight)$, where $1-λ_2$ stands for the spectral gap of the mixing matrix. To the best of our knowledge, EDAS achieves the shortest transient time when the average of the $n$ cost functions is strongly convex and each cost function is smooth. Numerical simulations further corroborate and strengthen the obtained theoretical results.

연구 동기 및 목표

• 분산 확률 최적화에서, 분산 알고리즘이 점근적 수렴 속도에 도달하기 이전의 반복 횟수로 정의되는 전이 시간을 줄이는 것.
• 중앙화된 SGD와 유사한 네트워크 독립적 수렴 속도를 달성하면서도, 이 상태에 도달하는 데 걸리는 시간을 최소화하는 분산 확률적 경사 하강법을 개발하는 것.
• 스토케스틱 경사 하강과 강凸이고 미세한 목적 함수 하에서 제안된 알고리즘의 비점근적 수렴 행동을 분석하는 것.
• 기존 방법들보다 더 날카로운 전이 시간의 이론적 경계를 설정하는 것—특히 일반적인 무방향 네트워크에 대해.

제안 방법

• 정확한 확산과 NIDS에서 유도된 분산 확률적 경사 하강 알고리즘인 EDAS(정확한 확산에 적응형 스텝사이즈를 적용한 알고리즘)를 제안한다. 이는 국소 에이전트들이 전역 평균 목적 함수를 최소화하는 네트워크를 대상으로 한다.
• 지역 경사 하강 분산과 네트워크 구조에 따라 변하는 적응형 스텝사이즈를 도입하여 수렴 안정성과 전이 행동의 가속화를 도모한다.
• 혼합 행렬의 고유분해를 이용해 변환된 공간에서 선형 시스템 모델을 사용하여 수렴 동역학을 분석한다.
• 기대 오차를 유 bounds하고 전이 시간 경계를 유도하기 위해 철저히 선택된 매개변수를 가진 리아푸노프 함수 $H_k = M_k + \theta c^2 T_k$ 를 사용한다.
• 시스템 행렬의 스펙트럼 성질을 분석하기 위해 혼합 행렬의 두 번째로 큰 고유치인 $\lambda_2$ 를 사용하여 네트워크 의존성을 특성화한다.
• 오차 증폭을 통제하고 안정성을 확보하기 위해 $\|U_L\|_2$, $\|U_R\|_2$, 및 $\|Z^{-1}\|_2$ 와 같은 핵심 양의 경계를 유도한다.

실험 결과

연구 질문

• RQ1 강凸이고 미세한 목적 함수를 최소화하기 위해 네트워크 제약 조건 하에서 분산 확률적 경사 하강법이 달성할 수 있는 최소 전이 시간은 무엇인가?
• RQ2 분산 알고리즘이 중심화된 SGD와 동일한 점근적 수렴 속도를 달성하면서도 그에 도달하는 데 걸리는 시간을 크게 줄일 수 있는가?
• RQ3 특히 스펙트럼 간격 $1 - \lambda_2$ 가 분산 확률적 경사 하강법의 전이 시간에 어떤 영향을 미치는가?
• RQ4 적응형 스텝사이즈가 분산 확률 최적화에서 일정한 스텝사이즈보다 전이 행동을 향상시킬 수 있는가?

주요 결과

• EDAS는 강凸이고 미세한 목적 함수에 대해 중심화된 SGD와 동일한 점근적 수렴 속도를 달성하여 장기적으로 네트워크 독립적 성능을 보장한다.
• EDAS의 전이 시간은 $\mathcal{O}\left(\frac{n}{1 - \lambda_2}\right)$ 로 경계되며, 이는 기존 분산 확률적 경사 하강법 중에서 가장 짧은 알려진 전이 시간이다.
• 링 그래프 및 기타 일반적인 무방향 네트워크에서 $1 - \lambda_2 = \mathcal{O}(n^{-1})$ 인 경우, 전이 시간은 $\mathcal{O}(n^2)$ 로 스케일링되며, DSGD의 $\mathcal{O}(n^5)$ 전이 시간에 비해 크게 향상된다.
• 이론적 전이 시간 경계는 수치적으로 검증되었으며, EDAS가 기존 방법들보다 점근적 영역에 더 빨리 수렴하는 것으로 나타났다.
• 분석 결과 전이 시간은 주로 네트워크의 스펙트럼 간격 $1 - \lambda_2$ 에 의해 결정되며, 잘 연결된 네트워크일수록 더 빠른 수렴을 보인다.
• EDAS의 적응형 스텝사이즈는 반복값의 안정성을 높이고 전이 단계를 줄이며, 특히 네트워크 연결성이 낮거나 고차원 설정에서 유리하다.