[논문 리뷰] Stochastic Gradient Hamiltonian Monte Carlo with Variance Reduction for Bayesian Inference

Zhize Li, Tianyi Zhang외 3명|arXiv (Cornell University)|2018. 03. 29.

Markov Chains and Monte Carlo Methods참고 문헌 26인용 수 6

한 줄 요약

이 논문은 대규모 설정에서 베이지안 추론을 향상시키기 위해 분산 감소 기법을 적용한 확률적 경사 하강 히브리지 몬테카를로(SGHMC) 알고리즘—SVRG-HMC, SAGA-HMC 및 그 이차형 대칭 분할 변형(SVRG2nd-HMC, SAGA2nd-HMC)—을 제안한다. 최적화 분야에서 유래한 분산 감소 기법을 HMC의 운동량과 마찰 항과 융합함으로써, 이 알고리즘들은 분산 감소 SGLD보다 더 빠른 수렴 속도와 더 나은 이론적 보장을 달성한다. 실험 결과는 베이지안 신경망을 사용한 회귀 및 분류 과제에서 뛰어난 성능을 보여준다.

ABSTRACT

Gradient-based Monte Carlo sampling algorithms, like Langevin dynamics and Hamiltonian Monte Carlo, are important methods for Bayesian inference. In large-scale settings, full-gradients are not affordable and thus stochastic gradients evaluated on mini-batches are used as a replacement. In order to reduce the high variance of noisy stochastic gradients, Dubey et al. [2016] applied the standard variance reduction technique on stochastic gradient Langevin dynamics and obtained both theoretical and experimental improvements. In this paper, we apply the variance reduction tricks on Hamiltonian Monte Carlo and achieve better theoretical convergence results compared with the variance-reduced Langevin dynamics. Moreover, we apply the symmetric splitting scheme in our variance-reduced Hamiltonian Monte Carlo algorithms to further improve the theoretical results. The experimental results are also consistent with the theoretical results. As our experiment shows, variance-reduced Hamiltonian Monte Carlo demonstrates better performance than variance-reduced Langevin dynamics in Bayesian regression and classification tasks on real-world datasets.

연구 동기 및 목표

• 햄일토니안 몬테카를로(HMC)를 사용한 대규모 베이지안 추론에서의 높은 분산을 가진 확률적 경사 하강의 문제를 해결하기 위해.
• 원래 SGLD에 적용된 분산 감소 기법을 SGHMC로 확장하여, HMC의 운동량과 마찰 항을 활용해 수렴 속도를 향상시키기 위해.
• 대칭 분할을 통한 이차형 적분기법을 개발하여 수렴 성질과 스텝 크기 안정성을 더욱 향상시키기 위해.
• 실세계의 회귀 및 분류 데이터셋에서 제안된 알고리즘의 실험적 검증을 통해 기존 SGHMC 및 분산 감소 SGLD보다 뛰어난 성능을 입증하기 위해.
• 분산 감소 HMC가 분산 감소 SGLD보다 더 빠른 수렴을 보이는 이론적 근거를 제공하기 위해.

제안 방법

• 작은 배치의 전체 기울기 평균을 유지함으로써, SVRG 및 SAGA 분산 감소 기법을 SGHMC에 적용한다.
• 비분산 감소 SGLD에 비해 더 나은 이론적 수렴 보장을 확보한 상태에서, SVRG-HMC 및 SAGA-HMC를 SGHMC의 분산 감소 변형으로 제안한다.
• 일차형 적분기법을 이차형으로 전환하기 위해 대칭 분할 기법을 적용함으로써 안정성을 향상시키고 스텝 크기 의존도를 감소시킨다.
• SGLD 변형 대비 스텝 크기 및 분산 감소에 대한 수렴 속도에 대한 이론적 경계를 유도한다.
• HMC 동역학에서 운동량 항과 마찰 항을 유지하고, 분산 감소 및 대칭 분할을 통해 이를 강화한다.
• TensorFlow에 알고리즘을 구현하고, ReLU 활성화 함수와 가우시안 사전분포를 갖는 베이지안 신경망을 포함한 UCI 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 운동량과 마찰 항을 포함한 더 복잡한 동역학을 가진 SGHMC에 대해, 최적화 분야에서 유래한 분산 감소 기법을 성공적으로 확장할 수 있는가?
• RQ2 분산 감소 기법이 적용되었을 때, HMC의 운동량과 마찰 항이 SGLD보다 더 나은 이론적 수렴 성질을 제공하는가?
• RQ3 대칭 분할 기법이 표준 적분기법 대비 분산 감소 HMC의 수렴성과 안정성을 더욱 향상시키는가?
• RQ4 실제로 분산 감소 HMC 알고리즘이 원본 SGHMC 및 분산 감소 SGLD에 비해 수렴 속도와 예측 성능 측면에서 어떻게 비교되는가?
• RQ5 분산 감소 HMC가 SGLD를 초월하는 성능 향상은 순수하게 HMC의 본질적 이점 때문인가, 아니면 분산 감소 메커니즘이 이를 증폭시키기 때문인가?

주요 결과

• SVRG2nd-HMC와 SAGA2nd-HMC는 실세계 UCI 데이터셋에서의 회귀 및 분류 과제에서 원본 SGHMC 및 SVRG/SAGA-LD를 모두 능가한다.
• 제안된 분산 감소 HMC 방법은 벤치마크 대비 뚜렷하게 더 빠른 수렴 속도를 보이며, 다양한 데이터셋과 모델 아키텍처에서 일관된 성능 격차를 유지한다.
• SVRG2nd-HMC는 발산 없이 약간 더 큰 스텝 크기를 허용함으로써, SVRG-HMC 대비 향상된 수치적 안정성을 보여준다.
• 이론적 분석을 통해 분산 감소 HMC가 운동량과 마찰 항 덕분에 분산 감소 SGLD보다 더 나은 수렴 속도를 가짐을 확인한다.
• SAGA2nd-HMC와 SVRG2nd-HMC는 유사한 성능을 보이나, 메모리 비용이 낮고 구현이 간단한 점을 고려해 SVRG2nd-HMC가 선호된다.
• 실험 결과는 분산 감소 기법이 SGHMC의 수렴을 크게 향상시킴을 입증하며, 이로 인한 성능 향상이 HMC의 본질적 우월성 때문만은 아님을 확인한다.