[논문 리뷰] Variance-Reduced Decentralized Stochastic Optimization with Gradient Tracking--Part I: GT-SAGA

Ran Xin, Usman A. Khan외 1명|arXiv (Cornell University)|2019. 09. 25.

Stochastic Gradient Optimization Techniques참고 문헌 61인용 수 9

한 줄 요약

이 논문은 부드럽고 강력한 볼록 finite-sum 문제에 대해 선형 수렴를 달성하기 위해 기울기 추적과 SAGA 분산 감소 기법을 조합한 분산된 확률적 최적화 알고리즘인 GT-SAGA를 제안한다. 이 알고리즘은 대규모 설정에서 기존의 분산된 방법들보다 뛰어난 성능을 보이며, $\mathcal{O}\left(\max\left\{M,\frac{M}{m}\frac{Q^{2}}{(1-\sigma)^{2}}\right\}\log\frac{1}{\epsilon}\right)$의 국소 기울기 계산 복잡도를 달성하여 최적의 복잡도를 확보한다.

ABSTRACT

In this paper, we study decentralized empirical risk minimization problems, where the goal is to minimize a finite-sum of smooth and strongly-convex functions available over a network of nodes. In this Part I, we propose extbf{ exttt{GT-SAGA}}, a decentralized stochastic first-order algorithm based on gradient tracking \cite{DSGT_Pu,DSGT_Xin} and a variance-reduction technique called SAGA \cite{SAGA}. We develop the convergence analysis and the iteration complexity of this algorithm. We further demonstrate various trade-offs and discuss scenarios in which extbf{ exttt{GT-SAGA}} achieves superior performance (in terms of the number of local gradient computations required) with respect to existing decentralized schemes. In Part II \cite{GT_SVRG} of this two-part paper, we develop and analyze extbf{ exttt{GT-SVRG}}, a decentralized gradient tracking based implementation of SVRG \cite{SVRG}, another well-known variance-reduction technique.

연구 동기 및 목표

• 대규모 분산 데이터를 가진 분산된 경험 리스크 최소화에서 빠른 수렴을 달성하는 데 도전하는 것.
• 분산 환경에서 기울기 추적과 SAGA 분산 감소의 장점을 융합하여 수렴 속도를 가속화하는 것.
• 조건 수 $Q = L/\mu$, 네트워크 연결성 $\sigma$, 국소 데이터 크기 $m$ 에 따라 유리하게 의존하는 수렴 속도를 유도하는 것.
• 기존의 분산된 1차 최적화 방법들보다 GT-SAGA가 훨씬 뛰어난 반복 복잡도를 달성한다는 것을 보여주는 것.

제안 방법

• GT-SAGA는 국소 기울기 추정치를 유지하고, 이는 이웃 노드로부터의 정보와 국소 기울기의 조합을 통해 업데이트된다.
• 알고리즘은 네트워크 통신을 모델링하기 위해 제2-largest 특이값 $\sigma$ 를 가진 이중 스토하스틱 가중치 행렬 $W$ 를 사용한다.
• 강력한 볼록성과 부드러움 가정 하에 선형 수렴를 보장하기 위해 $m$, $M$, $Q$, $L$, $\mu$, $\sigma$ 에 따라 달라지는 스텝 사이즈 $\alpha$ 를 사용한다.
• 수렴 분석은 라플라스 함수를 사용하여 오차 항을 경계하고, 선형 속도를 지배하는 수축 인자 $1/\kappa$ 를 유도한다.
• 스텝 사이즈 $\alpha$ 가 임계값 $\overline{\alpha}$ 이하로 선택될 경우, 알고리즘이 선형으로 수렴함을 증명한다. 이 임계값 $\overline{\alpha}$ 는 $m/M$, $Q$, $L$, $\mu$, $\sigma$ 에 따라 달라진다.

실험 결과

연구 질문

• RQ1 중앙 집중식 최적화에서의 분산 감소 기법이 분산된 확률적 환경에 효과적으로 적응될 수 있는가?
• RQ2 국소 데이터 크기 $m$, 전역 조건 수 $Q$, 네트워크 연결성 $\sigma$ 간의 상호작용이 분산 알고리즘의 수렴 속도에 어떻게 영향을 미치는가?
• RQ3 분산된 확률적 최적화에서 국소 계산과 통신 간의 최적의 트레이드오프는 무엇인가?
• RQ4 기울기 추적과 SAGA를 융합하면 기존의 분산된 방법들보다 증명 가능한 빠른 수렴 속도를 달성할 수 있는가?
• RQ5 스텝 사이즈 $\alpha$ 가 어떤 조건을 만족해야 제안된 알고리즘이 선형 수렴를 보장하는가?

주요 결과

• GT-SAGA는 $\mathcal{O}\left(\max\left\{M,\frac{M}{m}\frac{Q^{2}}{(1-\sigma)^{2}}\right\}\log\frac{1}{\epsilon}\right)$의 국소 기울기 계산을 통해 $\epsilon$-정확도에 도달하며, 이는 대규모 환경에서 최적의 복잡도이다.
• 국소 데이터 크기 $m$ 이 클수록 알고리즘의 수렴 속도가 크게 향상되며, 이러한 설정에서 DSA 및 Diffusion-AVRG와 같은 방법들보다 뛰어난 성능을 보인다.
• 선형 수렴를 보장하기 위해 스텝 사이즈 $\alpha$ 는 $\overline{\alpha} = \min\left\{\frac{(1-\sigma^{2})^{2}}{30\sqrt{10}}\frac{\sqrt{m}}{\sqrt{M}LQ}, \frac{m}{96M}\frac{1}{QL}, \frac{1-\sigma^{2}}{60\sqrt{5}L}\right\}$ 이하로 선택되어야 한다.
• 스텝 사이즈 $\alpha = \frac{m}{M}\frac{(1-\sigma^{2})^{2}}{150QL}$ 일 때, 수축 인자 $\frac{1}{\kappa} \leq \min\left\{\frac{3(1-\sigma^{2})}{10}, \frac{3}{1000}\frac{m}{M}\frac{(1-\sigma^{2})^{2}}{Q^{2}}, \frac{1}{6M}, \frac{1-\sigma^{2}}{2250}\right\}$ 를 만족하여 선형 수렴를 증명한다.
• GT-SAGA의 수렴 속도는 네트워크 연결성 $\sigma$ 에 따라 유리하게 스케일링되며, $\sigma \to 1$ 에 수렴할수록 향상되고, 더 큰 $m$ 을 통해 효과적인 조건 수 의존도가 감소한다.
• 특히 $m$ 이 클 경우, DSA, Diffusion-AVRG, ADFS 와 같은 최첨단 방법들보다 GT-SAGA가 $m$, $M$, $Q$, $\sigma$ 에 대해 더 우수한 종합적 의존성을 달성한다.