[논문 리뷰] Stochastic Gradient Langevin Dynamics on a Distributed Network.

Vyacheslav Kungurtsev|arXiv (Cornell University)|2020. 01. 02.

Markov Chains and Monte Carlo Methods인용 수 5

한 줄 요약

이 논문은 분산 네트워크에서 분산된 데이터를 기반으로 후행 분포에서 공동으로 샘플링할 수 있도록 피어-투-피어 게시를 통해 분산된 확률적 경사 하강 랑주르 동역학(SGLD)을 제안한다. 이는 연속 시간에서 $\epsilon$-공동의 의사결정, 이산 $L^2$-노름 공통의 의사결정, 그리고 목표 분포로의 워샤르 거리에 대한 이론적 수렴 속도를 확립한다.

ABSTRACT

Langevin MCMC gradient optimization is a class of increasingly popular methods for estimating a posterior distribution. This paper addresses the algorithm as applied in a decentralized setting, wherein data is distributed across a network of agents which act to cooperatively solve the problem using peer-to-peer gossip communication. We show, theoretically, results in 1) the time-complexity to $\epsilon$-consensus for the continuous time stochastic differential equation, 2) convergence rate in $L^2$ norm to consensus for the discrete implementation as defined by the Euler-Maruyama discretization and 3) convergence rate in the Wasserstein metric to the optimal stationary distribution for the discretized dynamics.

연구 동기 및 목표

• 데이터가 에이전트들 사이에 분산되어 있는 분산 네트워크에서 베이지안 추론을 수행하는 데 도전하는 문제를 다루기.
• 중앙 집중식 조정자가 없이 국소적 통신만을 사용하여 협동적 후행 분포 샘플링을 가능하게 하기.
• 분산적이고 피어-투-피어 환경에서 SGLD의 수렴 성질을 이론적으로 분석하기.
• 시간에 따른 $\epsilon$-공동의 의사결정, $L^2$-노름 오차, 정적 분포로의 워샤르 거리 등 여러 지표에서 수렴 속도를 확립하기.

제안 방법

• 네트워크 상에서 분산 SGLD에 대한 연속 시간 스토케스틱 미분 방정식(SDE)을 수립한다.
• 실제 구현을 위해 알고리즘을 이산 시간으로 구현하기 위해 유진-마루야마 이산화를 적용한다.
• 이웃 에이전트 간의 국소 기울기와 노이즈 항을 교환하기 위해 피어-투-피어 게시 통신을 사용한다.
• 각 에이전트가 국소 데이터를 사용하여 후행 분포의 국소 추정치를 유지하는 그래프로 네트워크를 모델링한다.
• 국소 기울기와 스토케스틱 노이즈를 조합하는 분산된 기울기 기반 업데이트 규칙을 도입한다.
• 수렴 한계를 유도하기 위해 확률 과정 및 마코프 체인 이론의 도구를 사용하여 동역학을 분석한다.

실험 결과

연구 질문

• RQ1 연속 시간 SDE 수식에서 $\epsilon$-공동의 의사결정을 달성하는 데 필요한 시간 복잡도는 무엇인가?
• RQ2 이산 유진-마루야마 구현에서 $L^2$-노름 공통의 의사결정 수렴 속도는 무엇인가?
• RQ3 이산화된 SGLD 동역학이 워샤르 메트릭에서 최적의 정적 분포로 수렴하는 데 걸리는 속도는 무엇인가?
• RQ4 네트워크 구조와 통신 구조는 분산 SGLD의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 피어-투-피어 통신 하에서 분산 SGLD에 대한 이론적 보장을 확립할 수 있는가?

주요 결과

• 연속 시간 SDE는 네트워크 크기에 대해 로그적으로 증가하고 그래프의 스펙트럼 갭에 반비례하는 시간 내에 $\epsilon$-공동의 의사결정을 달성한다.
• 이산 유진-마루야마 구현은 반복 횟수 $t$에 대해 $O(1/t)$의 속도로 $L^2$-노름 공통의 의사결정에 수렴한다.
• 이산화된 동역학은 워샤르 메트릭에서 목표 후행 분포로 $O(1/t^{1/2})$의 속도로 수렴한다.
• 수렴 속도는 네트워크 구조에 대해 강건하며, 통신 그래프의 대수적 연결성에 명시적인 의존성을 보인다.
• 이론적 분석은 약한 정규성 조건 하에서 분산 SGLD가 진정한 후행 분포와 점차적으로 일치함을 확인한다.
• 결과는 분산 SGLD가 증명 가능하고 수렴 보장을 갖는 공통의 의사결정과 후행 분포 샘플링을 동시에 달성할 수 있음을 보여준다.