[논문 리뷰] Improving the Sample and Communication Complexity for Decentralized Non-Convex Optimization: A Joint Gradient Estimation and Tracking Approach

Haoran Sun, Songtao Lu외 1명|arXiv (Cornell University)|2019. 10. 13.

Stochastic Gradient Optimization Techniques참고 문헌 64인용 수 12

한 줄 요약

이 논문은 비볼록 문제에서 샘플 및 통신 복잡도를 줄이기 위해 국소적 기울기 추정과 전역 기울기 추적을 동시에 수행하는 분산형 확률적 최적화 알고리즘인 D-GET을 제안한다. 유한합 문제에 대해 최적의 $Ø(mn^{1/2} au^{-1})$ 샘플 복잡도와 $Ø( au^{-1})$ 통신 복잡도를 달성하며, 온라인 문제에 대해서는 $Ø(m au^{-3/2})$ 샘플 복잡도를 확보한다—기존의 복잡도 상한에 비해 크게 향상되었다.

ABSTRACT

Many modern large-scale machine learning problems benefit from decentralized and stochastic optimization. Recent works have shown that utilizing both decentralized computing and local stochastic gradient estimates can outperform state-of-the-art centralized algorithms, in applications involving highly non-convex problems, such as training deep neural networks. In this work, we propose a decentralized stochastic algorithm to deal with certain smooth non-convex problems where there are $m$ nodes in the system, and each node has a large number of samples (denoted as $n$). Differently from the majority of the existing decentralized learning algorithms for either stochastic or finite-sum problems, our focus is given to both reducing the total communication rounds among the nodes, while accessing the minimum number of local data samples. In particular, we propose an algorithm named D-GET (decentralized gradient estimation and tracking), which jointly performs decentralized gradient estimation (which estimates the local gradient using a subset of local samples) and gradient tracking (which tracks the global full gradient using local estimates). We show that, to achieve certain $ε$ stationary solution of the deterministic finite sum problem, the proposed algorithm achieves an $\mathcal{O}(mn^{1/2}ε^{-1})$ sample complexity and an $\mathcal{O}(ε^{-1})$ communication complexity. These bounds significantly improve upon the best existing bounds of $\mathcal{O}(mnε^{-1})$ and $\mathcal{O}(ε^{-1})$, respectively. Similarly, for online problems, the proposed method achieves an $\mathcal{O}(m ε^{-3/2})$ sample complexity and an $\mathcal{O}(ε^{-1})$ communication complexity, while the best existing bounds are $\mathcal{O}(mε^{-2})$ and $\mathcal{O}(ε^{-2})$, respectively.

연구 동기 및 목표

• 대규모 머신러닝을 위한 분산형 비볼록 최적화에서 높은 샘플 및 통신 복잡도 문제를 해결한다.
• 기존의 분산 알고리즘들이 전체 배치 기울기 평가를 요구하거나 높은 통신 라운드 수를 겪는 한계를 극복한다.
• 국소 데이터 접근과 노드 간 통신을 동시에 최소화하면서도 $\epsilon$-정류해에 수렴하도록 하는 방법을 개발한다.
• 분산형 비볼록 최적화에서 유한합 및 온라인 설정에 대해 향상된 이론적 복잡도 상한을 달성한다.

제안 방법

• 합의 기반 네트워크 구조를 사용하여 국소 적응형 기울기 추정과 전역 기울기 추적을 결합한 분산 알고리즘 D-GET을 제안한다.
• 두 수준의 샘플링 전략을 사용한다: 매 $q$-번째 반복마다 전체 기울기 추정을 위한 큰 배치와 분산 감소 기반 기울기 추적을 위한 작은 배치.
• 혼합 행렬 $\mathbf{W}$를 통한 국소 추정치와 네트워크 평균화를 이용해 전역 기울기 추정치를 유지하는 기울기 추적 메커니즘을 도입한다.
• 분산 감소 기법을 활용해 확률적 기울기의 추정 오차를 제한함으로써 샘플 노이즈가 존재하더라도 수렴을 보장한다.
• 국소 업데이트와 전역 기울기 추적을 번갈아 수행하는 하이브리드 업데이트 규칙을 설계하며, 주기적으로 전체 배치 기울기 재추정을 수행한다.
• 각 노드가 국소 변수를 유지하고 이웃 노드와만 통신하는 네트워크 상에서 공식화된 합의 최적화 문제로 문제를 재구성한다.

실험 결과

연구 질문

• RQ1 국소 기울기 추정과 전역 기울기 추적을 동시에 수행하면 분산형 비볼록 최적화에서 $\epsilon$-정류해에 도달하기 위해 필요한 국소 데이터 샘플 수를 줄일 수 있는가?
• RQ2 분산형 확률적 최적화에서 원하는 정확도 $\epsilon$에 따라 통신 복잡도는 어떻게 변화하는가?
• RQ3 제안된 방법은 유한합 및 온라인 설정 모두에서 기존의 분산 알고리즘보다 더 낮은 샘플 복잡도를 달성할 수 있는가?
• RQ4 분산형 비볼록 최적화에서 국소 계산(샘플 복잡도)과 노드 간 통신(라운드 복잡도) 사이의 이론적 트레이드오프는 무엇인가?
• RQ5 분산 감소 기반 기울기 추적을 사용할 경우, 표준 분산형 확률적 기울기 하강법 대비 수렴 속도 향상이 이루어지는가?

주요 결과

• 유한합 문제에 대해 D-GET은 $Ø(mn^{1/2}\tau^{-1})$ 샘플 복잡도를 달성하며, 기존 최고 수준의 $Ø(mn\tau^{-1})$ 복잡도에 비해 향상되었다.
• D-GET의 통신 복잡도는 $Ø(\tau^{-1})$로, 기존 최고 수준의 복잡도를 유지하지만 샘플 사용량이 크게 감소하였다.
• 온라인 문제에 대해 D-GET은 $Ø(m\tau^{-3/2})$ 샘플 복잡도를 확보하였으며, 이는 이전 최고 수준의 $Ø(m\tau^{-2})$에 비해 향상된 결과이다.
• 온라인 문제의 경우 통신 복잡도 역시 $Ø(\tau^{-1})$로 유지되었으며, $Ø(\tau^{-2})$ 라운드가 필요한 기존 방법들을 능가하였다.
• 이론적 분석을 통해 표준 smoothness 및 분산 유한성 가정 하에 알고리즘이 높은 확률로 $\epsilon$-정류해에 수렴한다는 것이 확인되었다.
• 이 방법은 국소 계산과 통신 사이의 최적 트레이드오프를 달성하여, 프라이버시 및 확장성 제약 조건이 있는 대규모 분산 학습에 적합하다.