[논문 리뷰] Decentralized Markov Chain Gradient Descent

Tao Sun, Dongsheng Li|arXiv (Cornell University)|2019. 09. 23.

Stochastic Gradient Optimization Techniques참고 문헌 39인용 수 7

한 줄 요약

이 논문은 분산 네트워크 상에서 비볼록 스토하스틱 최적화를 위한 샘플 및 통신 효율적인 알고리즘인 분산 마르코프 체인 경사하강법(Decentralized Markov Chain Gradient Descent, DMGD)을 제안한다. 마르코프 체인 샘플링을 활용해 기울기를 생성하고 이웃 노드 간 국소 평균화를 수행함으로써, 네트워크 구조와 마르코프 체인 혼합 시간에 따라 의존하는 비에르고딕 및 에르고딕 수렴 속도를 달성하며, 이는 이론적 보장과 실험적 검증을 통해 샘플 효율성이 입증된다.

ABSTRACT

Decentralized stochastic gradient method emerges as a promising solution for solving large-scale machine learning problems. This paper studies the decentralized Markov chain gradient descent (DMGD) algorithm - a variant of the decentralized stochastic gradient methods where the random samples are taken along the trajectory of a Markov chain. This setting is well-motivated when obtaining independent samples is costly or impossible, which excludes the use of the traditional stochastic gradient algorithms. Specifically, we consider the first- and zeroth-order versions of decentralized Markov chain gradient descent over a connected network, where each node only communicates with its neighbors about intermediate results. The nonergodic convergence and the ergodic convergence rate of the proposed algorithms have been rigorously established, and their critical dependences on the network topology and the mixing time of Markov chain have been highlighted. The numerical tests further validate the sample efficiency of our algorithm.

연구 동기 및 목표

• 독립 동일분포(i.i.d.) 샘플링이 불가능하거나 비용이 많이 드는 분산 기계학습 환경에서 복잡하거나 알려지지 않은 분포에서의 샘플링 문제를 해결한다.
• 중앙 집중형 융합 센터가 필요로 하지 않으며 통신 오버헤드를 줄이는 분산 최적화 알고리즘을 개발한다.
• 독립적인 샘플 생성이 비용이 많이 드는 환경에서 마르코프 체인에 의해 생성된 샘플을 사용하여 효율적인 학습을 가능하게 한다.
• 비볼록 환경에서 비에르고딕 및 에르고딕 반복의 수렴 보장을 수립한다.
• 수렴 속도가 네트워크 연결성과 마르코프 체인 혼합 시간에 어떻게 영향을 받는지 강조한다.

제안 방법

• 각 노드가 i.i.d. 샘플 대신 마르코프 체인 궤적을 따라 샘플을 생성하는 분산 마르코프 체인 경사하강법(Decentralized Markov Chain Gradient Descent, DMGD) 알고리즘을 제안한다.
• 각 노드가 이웃 노드와만 통신하여 매개변수를 업데이트하는 연결된 네트워크에서 국소 평균화를 사용한다.
• 각 노드에 시간에 따라 동일한 마르코프 체인을 도입하고, 정적 분포가 목표 분포와 일치하도록 하여 점차적으로 정적 상태를 확보한다.
• 비i.i.d. 성격을 지닌 마르코프 체인 샘플을 다루기 위해 새로운 스텝사이즈 규칙과 지연된 기울기 추적 메커니즘을 도입한다.
• 마르코프 체인 혼합 시간과 네트워크 공감 오차의 성질을 이용해 기울기의 기대 노름을 경계함으로써 수렴을 확립한다.
• 마르코프 체인 이론(예: 전체 변동 거리 경계)과 분산 최적화 분석 도구를 활용해 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 마르코프 체인에 의해 생성된 샘플을 사용할 때, 분산 최적화 알고리즘이 수렴할 수 있는가?
• RQ2 마르코프 체인의 혼합 시간이 분산 경사하강법의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 특히 혼합 행렬의 두 번째로 큰 고유값에 의해 표현되는 네트워크 구조는 분산 마르코프 체인 경사하강법의 수렴에 어떤 영향을 미치는가?
• RQ4 마르코프 체인의 혼합 시간이 길어도 반복마다 체인 재생이 필요로 하지 않도록 알고리즘이 샘플 효율성을 유지할 수 있는가?
• RQ5 비에르고딕 및 에르고딕 수렴 속도는 네트워크 크기와 마르코프 체인 성질에 대해 어떻게 스케일링되는가?

주요 결과

• DMGD 알고리즘은 비에르고딕 수렴 속도 $\mathcal{O}\left(\frac{1}{(k+1)^\theta}\right)$ 를 달성하며, 여기서 $\theta$ 는 스텝사이즈 규칙에 따라 달라진다.
• 에르고딕 수렴 속도는 $\mathcal{O}\left(\frac{1}{\ln(1/\lambda(H)) \cdot (1 - \lambda_2(W)) \cdot (k+1)^\theta}\right)$ 로 경계되며, 네트워크 연결성과 마르코프 체인 혼합 시간에 명시적인 의존성을 보인다.
• 비i.i3. 샘플에 의해 유도되는 편향을 고려한 분석을 수행하였으며, 혼합 시간과 체인의 정적 상태를 통해 오차를 통제한다.
• 알고리즘은 매 반복마다 마르코프 체인 재생을 방지하여, 기존의 SGD-$T$ 대비 샘플 효율성이 크게 향상된다.
• 수치 결과는 DMGD의 샘플 효율성을 확인하며, 특히 혼합 시간이 길거나 샘플 접근이 제한된 상황에서 뚜렷한 성능 향상을 보인다.
• 이론적 경계는 네트워크 구조($\lambda_2(W)$를 통해)와 마르코프 체인 혼합($\lambda(H)$를 통해)가 수렴 속도에 결정적인 영향을 미친다는 것을 강조한다.