[논문 리뷰] On the Convergence of Stochastic Gradient MCMC Algorithms with High-Order Integrators

Changyou Chen, Nan Ding외 1명|arXiv (Cornell University)|2016. 10. 21.

Markov Chains and Monte Carlo Methods참고 문헌 25인용 수 124

한 줄 요약

본 논문은 고차 적분기를 갖춘 SG-MCMC 방법에 대한 약한 수렴 이론을 개발하고, 2차 대칭 분할 적분기가 수렴을 개선함을 보인다(예: Euler에 비해 SGHMC의 MSE 속도는 L^{-4/5}).

ABSTRACT

Recent advances in Bayesian learning with large-scale data have witnessed emergence of stochastic gradient MCMC algorithms (SG-MCMC), such as stochastic gradient Langevin dynamics (SGLD), stochastic gradient Hamiltonian MCMC (SGHMC), and the stochastic gradient thermostat. While finite-time convergence properties of the SGLD with a 1st-order Euler integrator have recently been studied, corresponding theory for general SG-MCMCs has not been explored. In this paper we consider general SG-MCMCs with high-order integrators, and develop theory to analyze finite-time convergence properties and their asymptotic invariant measures. Our theoretical results show faster convergence rates and more accurate invariant measures for SG-MCMCs with higher-order integrators. For example, with the proposed efficient 2nd-order symmetric splitting integrator, the {\em mean square error} (MSE) of the posterior average for the SGHMC achieves an optimal convergence rate of $L^{-4/5}$ at $L$ iterations, compared to $L^{-2/3}$ for the SGHMC and SGLD with 1st-order Euler integrators. Furthermore, convergence results of decreasing-step-size SG-MCMCs are also developed, with the same convergence rates as their fixed-step-size counterparts for a specific decreasing sequence. Experiments on both synthetic and real datasets verify our theory, and show advantages of the proposed method in two large-scale real applications.

연구 동기 및 목표

• 일반 고차 적분기를 가진 SG-MCMC에 대한 약한 수렴 이론 개발.
• 고정 및 감소 스텝 크기 하에서 K-차 등급 적분기에 대한 finite-time 편향 및 MSE 특성 규명.
• SG-MCMC를 위한 수치적으로 효율적인 2차 대칭 분할 적분기 도입.
• 수치적 그라디언트 잡음이 수렴 및 불변 분포에 미치는 영향 분석.

제안 방법

• Itô 확산으로 SG-MCMC를 모델링하고 생성자 L을 사용하여 매끄러운 통계의 기대값의 약한 수렴을 연구한다.
• 포와송(포아송) 방정식을 이용해 후방 평균을 해 psi와의 관계로 연결하고 편향/ MSE 경계를 도출한다.
• K-차 로컬 적분기를 도입하고 hL의 근사 e^{hL}를 이용해 tilde{L}_l와 함께 확률적 그래디언트 설정으로 확장한다.
• 편향 = O(1/(Lh) + sum_l E||E Delta V_l|| / L + h^K)와 MSE = O( (1/L) sum_l E||Delta V_l||^2 / L + 1/(Lh) + h^{2K} )의 경계를 도출한다.
• SGHMC를 위한 2차 대칭 분할 적분기(A B O B A) 를 제안하고 분석하며 이것이 2차 로컬 적분기임을 증명한다.

실험 결과

연구 질문

• RQ1 K 차수의 수치적 적분기가 SG-MCMC의 finite-time 편향 및 MSE에 어떤 영향을 미치는가?
• RQ2 고차 적분기를 가진 고정 스텝 크기 SG-MCMC의 수렴 속도는 무엇이며 1차 Euler 스킴과 어떻게 비교되는가?
• RQ3 확률적 그래디언트 잡음과 스텝 크기 일정(고정 vs 감소)이 점근적 불변 분포 및 수렴 보장에 어떤 영향을 미치는가?
• RQ4 실제 데이터에서 대규모 베이지안 학습(SGHMC/SGLD)에 대해 실용적인 고차 적분기(예: 2차 대칭 분할)가 성능을 향상시키는가?

주요 결과

• K-차 적분기에 대해 반복 L에서의 편향은 O(1/(Lh) + sum_l E||E Delta V_l||/L + h^K)이다.
• L에서의 MSE는 O( (1/L) sum_l E||Delta V_l||^2 / L + 1/(Lh) + h^{2K} )이다.
• 2차 대칭 분할 적분기(K=2)를 사용한 SGHMC는 Euler 기반보다 빠른 최적 편향 속도 L^{-2/3}와 MSE 속도 L^{-4/5}(h가 L^{-1/5}에 비례) 를 달성하며, Euler 기반의 L^{-1/2} 편향 및 L^{-2/3} MSE에 비해 우수하다.
• SG-MCMC의 불변 분포는 d( ilde{ ho}_h, ho) = O(h^K) (K-차 적분기)로 실제 후방 분포에 수렴한다.
• 감소 스텝 사이즈 SG-MCMC는 일관성이 있으며, h_l ~ l^{-α}일 때 최적의 α 값은 고정 스텝 결과와 일치한다(편향의 경우 α=1/(K+1), MSE의 경우 α=1/(2K+1)).
• 합성 및 대규모 데이터(LDA, SBN/MNIST)에 대한 실험에서 분할 기반 SGHMC(SGHMC-S)가 Euler 기반 방법보다 우수하고 큰 스텝 크기에서 나타나는 불안정성을 피한다.