[논문 리뷰] Decentralized Langevin Dynamics

Vyacheslav Kungurtsev|arXiv (Cornell University)|2020. 01. 02.

Markov Chains and Monte Carlo Methods참고 문헌 11인용 수 6

한 줄 요약

이 논문은 로컬 데이터를 가진 에이전트 네트워크에서 사후 분포로부터 샘플링하기 위한 탈중앙화된 랭지에빈 역동성 알고리즘을 제안한다. 피어 투 피어 게이ossip 통신을 사용하며, 감소하는 스텝 사이즈와 강한 볼록성 가정 하에 이론적 수렴 속도를 확립한다: 목표 분포로의 워샤르스탄 거리에서 $O(1/k^{1/2})$ 및 공식화된 평균으로의 $L^2$ 노름에서 $O(1/k^{1/2-γ})$.

ABSTRACT

Langevin MCMC gradient optimization is a class of increasingly popular methods for estimating a posterior distribution. This paper addresses the algorithm as applied in a decentralized setting, wherein data is distributed across a network of agents which act to cooperatively solve the problem using peer-to-peer gossip communication. We show, theoretically, results in 1) the time-complexity to $ε$-consensus for the continuous time stochastic differential equation, 2) convergence rate in $L^2$ norm to consensus for the discrete implementation as defined by the Euler-Maruyama discretization and 3) convergence rate in the Wasserstein metric to the optimal stationary distribution for the discretized dynamics.

연구 동기 및 목표

• 로컬 액세스가 가능한 에이전트들 간에 분포된 데이터를 가진 탈중앙화된 네트워크에서 랭지에빈 MCMC 샘플링을 확장한다.
• 피어 투 피어 통신과 로컬 기울기 액세스 조건 하에서 탈중앙화된 랭지에빈 역동성의 수렴 성질을 분석한다.
• 분산 환경에서 목표 사후 분포로의 수렴과 공식화된 시간에 대한 이론적 보장을 수립한다.
• $L^2$ 노름(공식화된 평균)과 워샤르스탄 메트릭(정적 분포)에서의 수렴 속도를 정량화한다.

제안 방법

• 탈중앙화된 시스템을 $m$개의 에이전트로 구성된 무방향, 강하게 연결된 그래프와 이중 스토하스틱 가중치 행렬 $\mathbf{W}$로 모델링한다.
• 연속 시간 SDE를 제안한다: $dX^{(i)}_t = -\sum_{j\in\mathcal{N}_i\cup\{i\}} \mathbf{L}_{ij}X^{(j)}_t dt - \alpha(t)\nabla u_i(X^{(i)}_t) dt + \sqrt{2\sigma\alpha(t)} dB^{(i)}_t$.
• 감소하는 스텝 사이즈 $\alpha_k = 1/(1+k)$를 사용한 오일러-마루야마 스킴을 통해 SDE를 이산화한다.
• 평균 과정 $\bar{X}_k$를 분석하고, 시간 척도 변환과 확산 근사법을 통해 $U(x)$의 최소화자로 수렴함을 보인다.
• 리아푸노프 함수와 재귀 부등식을 사용하여 공식화된 평균 과정과의 $L^2$ 오차를 근사한다.
• 레마 3.1을 적용하여 감소하는 스텝 사이즈 조건 하에서 수렴 속도를 유도하며, 역 시간 척도 변환과 브라운 운동의 척도 불변성의 특성을 활용한다.

실험 결과

연구 질문

• RQ1 연속 시간 SDE 설정에서 $L^2$ 노름에서의 공식화된 평균으로의 수렴 속도는 어떻게 되는가?
• RQ2 이산 시간 과정이 워샤르스탄 메트릭에서 정적 분포로 수렴하는 속도는 얼마나 되는가?
• RQ3 연속 시간 SDE 설정에서 $\epsilon$-공식화된 상태에 도달하는 데 필요한 시간 복잡도는 얼마인가?
• RQ4 로컬 기울기의 비유사성과 네트워크 토폴로지가 탈중앙화 샘플링에서 수렴에 미치는 영향은 무엇인가?
• RQ5 기존 랭지에빈 MCMC의 수렴 속도가 탈중앙화된 피어 투 피어 네트워크 환경에서도 유지되는가?

주요 결과

• 주어진 가정 하에 연속 시간 탈중앙화된 랭지에빈 SDE는 $\epsilon$-공식화된 상태에 $O(\epsilon^{-1})$ 시간 내에 도달한다.
• 이산 구현에서 감소하는 스텝 사이즈 조건 하에 $L^2$ 노름에서의 공식화된 평균으로의 수렴 속도는 $O(1/k^{1/2-\gamma})$ (모든 $\gamma > 0$에 대해)이다.
• 스텝 사이즈 $h_k = 1/k$ 조건 하에 평균 과정의 경험적 분포와 목표 사후 분포 사이의 워샤르스탄 거리는 $O(k^{-1/2})$ 속도로 감소한다.
• 일정한 스텝 사이즈 $h_k = h$ 조건 하에 워샤르스탄 오차는 $O(1)$로 유계이며, 명시적 상수 $\chi L (h d)^{1/2} / m$를 가진다. 여기서 $\chi = 7\sqrt{2}/6$이다.
• $L^2$ 오차의 수렴 속도는 네트워크의 두 번째로 작은 고유값 $\beta = \lambda_2(\mathbf{L})$를 포함하는 재귀 부등식에 의해 결정된다.
• 분석 결과 탈중앙화된 랭지에빈 역동성은 기울기 리프시츠 연속성과 강한 볼록성에 대한 약한 가정 하에 중심화된 랭지에빈 MCMC의 수렴 성질을 그대로 이어받는다.