[논문 리뷰] Multilevel Monte Carlo for Scalable Bayesian Computations

Michael B. Giles, Tigran Nagapetyan외 3명|arXiv (Cornell University)|2016. 09. 15.

Markov Chains and Monte Carlo Methods참고 문헌 15인용 수 5

한 줄 요약

이 논문은 표준 MCMC의 최적의 $Ø(c^{-1/2})$ 수렴 속도를 달성하면서도 SGLD의 확장성도 유지하는 새로운 알고리즘인 다중수준 스토하스틱 그래디언트 랭지언 다이내믹스(ML-SGLD)를 제안한다. 반대칭 결합, 타일러 기반 스토하스틱 그래디언트, 경로 평균화를 통합함으로써 ML-SGLD는 분산을 감소시키고 데이터셋 크기에 대해 비선형적인 계산 비용 스케일링을 가능하게 하여 표준 SGLD를 능가하고, 멜로이스-하스팅스 보정 없이도 MCMC의 효율성에 도달한다.

ABSTRACT

Markov chain Monte Carlo (MCMC) algorithms are ubiquitous in Bayesian computations. However, they need to access the full data set in order to evaluate the posterior density at every step of the algorithm. This results in a great computational burden in big data applications. In contrast to MCMC methods, Stochastic Gradient MCMC (SGMCMC) algorithms such as the Stochastic Gradient Langevin Dynamics (SGLD) only require access to a batch of the data set at every step. This drastically improves the computational performance and scales well to large data sets. However, the difficulty with SGMCMC algorithms comes from the sensitivity to its parameters which are notoriously difficult to tune. Moreover, the Root Mean Square Error (RMSE) scales as $\mathcal{O}(c^{-\frac{1}{3}})$ as opposed to standard MCMC $\mathcal{O}(c^{-\frac{1}{2}})$ where $c$ is the computational cost. We introduce a new class of Multilevel Stochastic Gradient Markov chain Monte Carlo algorithms that are able to mitigate the problem of tuning the step size and more importantly of recovering the $\mathcal{O}(c^{-\frac{1}{2}})$ convergence of standard Markov Chain Monte Carlo methods without the need to introduce Metropolis-Hasting steps. A further advantage of this new class of algorithms is that it can easily be parallelised over a heterogeneous computer architecture. We illustrate our methodology using Bayesian logistic regression and provide numerical evidence that for a prescribed relative RMSE the computational cost is sublinear in the number of data items.

연구 동기 및 목표

• 표준 스토하스틱 그래디언트 MCMC(SGMCMC) 방법에서 관찰되는 $Ø(c^{-1/3})$ 수렴 속도의 열악함을 해결함으로써, 확장성은 유지하면서도 정확도를 높이기 위해.
• 표준 MCMC의 $Ø(c^{-1/2})$ 수렴 속도를 회복하는 SGLD를 위한 다중수준 몬테카를로 프레임워크를 개발함으로써, 멜로이스-하스팅스 보정이 필요 없도록 하기 위해.
• 타일러 기반 스토하스틱 그래디언트와 효율적인 경로 결합을 통해 데이터셋 크기 $N$에 대해 비선형 계산 비용 스케일링을 가능하게 하기 위해.
• 반대칭 결합과 시간 평균 추정기법을 통해 수치적 안정성과 분산 감소를 도모함으로써 실용적 성능 향상을 위해.

제안 방법

• 저감하는 스텝 크기 $h_l = 2^{-l}$를 사용하는 계층적 프레임워크를 통해 거친 경로와 미세한 경로를 결합하는 다중수준 SGLD 프레임워크를 제안한다.
• 각 수준 간의 반대칭 결합을 적용하여 경로 차이의 분산을 감소시키며, 분산이 $Ø(h_l^2)$로 감소함을 보장함으로써 표준 결합의 $Ø(h_l)$ 감소보다 향상된 성능를 달성한다.
• 계산 비용 평가 당의 비용을 줄이기 위해 스코어 함수의 타일러 기반 근사를 도입함으로써 $N$에 대해 비선형 스케일링을 가능하게 한다.
• 각 수준에서 샘플의 시간 평균을 적용하여 추가로 분산을 감소시키되, 수렴 속도에 영향을 주지 않는다.
• 각 수준에서 결합된 경로를 기반으로 한 제어 변수 전략을 도입하여 후행 기대값 추정의 분산을 감소시킨다.
• 각 수준에서 평균 증분과 분산의 수치적 수렴을 기반으로 한 정지 기준을 사용하여 적응형 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다중수준 몬테카를로 기법을 SGLD와 효과적으로 융합하여 표준 MCMC의 $Ø(c^{-1/2})$ 수렴 속도를 회복할 수 있는가?
• RQ2 다중수준 SGLD 프레임워크 내의 반대칭 결합이 이전의 MLMC 접근법에서 관찰되는 로그 비용 항을 제거하는가?
• RQ3 타일러 기반 스토하스틱 그래디언트가 데이터 포인트 수 $N$에 대해 비선형 계산 비용 스케일링을 가능하게 하는가?
• RQ4 반대칭 결합, 타일러 근사, 경로 평균화의 조합이 분산 감소율과 전체 계산 복잡도에 어떤 영향을 미치는가?
• RQ5 ML-SGLD가 대규모 베이지안 추론에서 상당히 감소된 계산 비용으로 MCMC 수준의 정확도를 달성할 수 있는가?

주요 결과

• 타일러 기반 그래디언트를 사용하는 반대칭 다중수준 SGLD는 표준 MCMC와 동일한 $Ø(c^{-1/2})$ 수렴 속도를 달성하면서도 확장성은 유지한다.
• 수치 실험 결과, 계산 비용이 데이터 포인트 수 $N$에 대해 비선형적으로 증가함을 확인하였으며, 특히 타일러 근사를 통한 반대칭 변형에서 두드러진다.
• 경로 차이의 분산 감소율이 $Ø(h_l^2)$에 도달하여 표준 결합의 $Ø(h_l)$ 감소율보다 크게 향상되어 각 수준당 필요한 샘플 수를 감소시킨다.
• 반대칭 결합, 타일러 근사, 경로 평균화의 조합은 분산의 곱계수를 낮추어 기준 다중수준 SGLD보다 더 낮은 전체 복잡도를 달성한다.
• 상대적 평균제곱오차가 $2^{-5}$일 때, 최고의 ML-SGLD 변종의 계산 비용은 $N$에 대해 비선형적으로 증가하지만, MALA(MCMC)의 비용은 $N$에 대해 선형적으로 증가한다.
• 알고리즘은 수준 간 및 경로 간 자연스러운 병렬 처리를 가능하게 하여 이질적 아키텍처에서 효율적인 구현을 지원한다.