[논문 리뷰] Decentralized Stochastic Gradient Tracking for Non-convex Empirical Risk Minimization

Jiaqi Zhang, Keyou You|arXiv (Cornell University)|2019. 09. 06.

Stochastic Gradient Optimization Techniques참고 문헌 60인용 수 25

한 줄 요약

이 논문은 피어 투 피어 네트워크에서 비볼록 경험적 리스크 최소화를 위한 탈중앙화된 확률적 경사 추적(DSGT) 알고리즘을 제안한다. 각 노드는 국소 데이터 크기에 비례한 미니배치 확률적 경사를 사용한다. 비점근적 수렴 속도 $ O(1/\text{stepsize 합}) $ 를 확립하여 조건 하에서 네트워크 독립성을 보이며, 일부 경우에선 선형 속도 향상을 달성하고, 중심화된 SGD와 유사한 성능을 보인다.

ABSTRACT

This paper studies a decentralized stochastic gradient tracking (DSGT) algorithm for non-convex empirical risk minimization problems over a peer-to-peer network of nodes, which is in sharp contrast to the existing DSGT only for convex problems. To ensure exact convergence and handle the variance among decentralized datasets, each node performs a stochastic gradient (SG) tracking step by using a mini-batch of samples, where the batch size is designed to be proportional to the size of the local dataset. We explicitly evaluate the convergence rate of DSGT with respect to the number of iterations in terms of algebraic connectivity of the network, mini-batch size, gradient variance, etc. Under certain conditions, we further show that DSGT has a network independence property in the sense that the network topology only affects the convergence rate up to a constant factor. Hence, the convergence rate of DSGT can be comparable to the centralized SGD method. Moreover, a linear speedup of DSGT with respect to the number of nodes is achievable for some scenarios. Numerical experiments for neural networks and logistic regression problems on CIFAR-10 finally illustrate the advantages of DSGT.

연구 동기 및 목표

• 비볼록 설정에서 탈중앙화된 확률적 경사 방법에 대한 수렴 보장의 부족을 해결하기 위해, 특히 이질적이고 탈중앙화된 데이터셋에 대해.
• 국소 데이터 분포와 크기의 변동성에도 불구하고 정확한 정류점 수렴을 보장하는 탈중앙화 알고리즘을 개발하기 위해.
• 네트워크 대수적 연결성, 미니배치 크기, 경사 분산, 스텝사이즈 규칙을 고려하여 제안된 DSGT 알고리즘의 수렴 속도를 분석하기 위해.
• 네트워크 토폴로지가 수렴 행동에 상수 요인을 초과해 영향을 미치는지 조사하며, 수렴 행동에서의 네트워크 독립성을 목표로 한다.
• 일부 조건 하에서 노드 수에 대해 선형 속도 향상을 보이며, 탈중앙화 학습의 확장성 향상을 위해.

제안 방법

• 각 노드가 국소 데이터의 미니배치를 사용하여 전역 경사의 국소 추정치를 유지하는 탈중앙화된 확률적 경사 추적(DSGT) 알고리즘을 제안한다.
• 변동성과 통신 효율성을 균형 잡기 위해, 미니배치 크기를 국소 데이터셋 크기에 비례하도록 설계한다.
• 이웃 간 통신을 통해 네트워크 전반의 평균 경사를 추적할 수 있는 경사 추적 메커니즘을 도입한다.
• 혼합 행렬 $ W $ 를 사용한 공감 기반 업데이트 규칙을 적용하여 국소 경사와 상태를 집계하고, 노드 간의 일치를 보장한다.
• 수렴 분석을 위해 상수 스텝사이즈와 감소하는 스텝사이즈 규칙을 모두 적용한다.
• 수렴 속도 경계의 핵심 매개변수로 통신 그래프의 대수적 연결성 $ (1 - \rho) $ 를 활용한다.

실험 결과

연구 질문

• RQ1 이질적인 국소 데이터셋을 가진 비볼록 경험적 리스크 최소화에 대해 탈중앙화된 확률적 경사 방법이 정확한 수렴을 달성할 수 있는가?
• RQ2 DSGT의 수렴 속도는 네트워크 대수적 연결성, 미니배치 크기, 경사 분산에 어떻게 의존하는가?
• RQ3 네트워크 토폴로지가 수렴 속도에 상수 요인을 초과해 영향을 미치는 조건은 무엇이며, 이는 수렴 행동에서의 네트워크 독립성을 의미하는가?
• RQ4 DSGT 알고리즘이 탈중앙화 학습에서 노드 수에 대해 선형 속도 향상을 달성할 수 있는가?
• RQ5 목적 함수가 볼록일 경우 DSGT 방법은 최적 해로 수렴하는가? 그리고 중심화된 SGD와의 수렴 속도 비교는 어떻게 되는가?

주요 결과

• DSGT 알고리즘은 비점근적 수렴 속도 $ O\big{(} \frac{1}{\text{stepsize 합}} \big{(} D + \rho^2 \frac{\rho^2 \rho^2}{(1-\rho)^3} \text{stepsize 합}^3 \big{)} \big{)} $ 를 달성한다. 여기서 $ D $ 는 초기 오차와 관련되며, $ \rho $ 는 대수적 연결성, $ \rho^2 \frac{\rho^2 \rho^2}{(1-\rho)^3} $ 는 경사 분산 영향을 기록한다.
• 상수 스텝사이즈를 사용할 경우 수렴 속도는 $ O\big{(} \frac{D\theta}{\theta} + \frac{\rho^2 D^2}{(1-\rho)^3 K} \big{)} $ 로 표현되며, 적절한 조건 하에서 $ 1/K $-속도를 보인다.
• 감소하는 스텝사이즈 $ \theta_k = O(1/k^p) $ 를 사용할 경우 수렴 속도는 $ O(1/k^{1-p}) $ 이며, $ p = 0.5 $ 일 경우 $ O(\text{ln}(k)/\theta) $ 로 나타나 부분선형 수렴을 나타낸다.
• 조건 $ \frac{\rho^2}{(1-\rho)^3} \text{stepsize 합}^3 = O(\text{stepsize 합}^2) $ 를 만족할 경우 알고리즘이 네트워크 독립성을 보이며, 이는 네트워크가 수렴에 영향을 미치는 것이 상수 요인 이내임을 의미한다.
• 이 조건 하에서 DSGT의 수렴 속도는 중심화된 SGD와 유사해지며, 이는 탈중앙화 학습이 수렴 속도 측면에서 중심화된 성능을 따라할 수 있음을 의미한다.
• CIFAR-10에서의 수치 실험 결과, DSGT는 딥 네ural 네트워크 및 로지스틱 회귀 학습에서 이론적 결과와 속도 향상 잠재력을 검증하는 데 성공한 경쟁력 있는 성능을 보였다.