[논문 리뷰] Stochastic Variance-Reduced Hamilton Monte Carlo Methods

Difan Zou, Pan Xu외 1명|arXiv (Cornell University)|2018. 02. 13.

Markov Chains and Monte Carlo Methods참고 문헌 43인용 수 6

한 줄 요약

이 논문은 부드럽고 강한 로그-볼록 분포에서 효율적인 샘플링을 위한 확률적 분산 감소 힘링턴 몬테카를로(SVR-HMC) 방법을 제안한다. 확률적 최적화에서 유래한 분산 감소 기법을 HMC에 통합함으로써, 2-워샤르슈타인 거리에서 $\epsilon$-정확도에 도달하기 위한 기울기 복잡도가 $\widetilde{O}\big{(}n + \kappa^{2}d^{1/2}/\epsilon + \kappa^{4/3}d^{1/3}n^{2/3}/\epsilon^{2/3}\big{)}$로 계산되며, 넓은 범위의 조건에서 기존의 HMC 및 확률적 기울기 HMC 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We propose a fast stochastic Hamilton Monte Carlo (HMC) method, for sampling from a smooth and strongly log-concave distribution. At the core of our proposed method is a variance reduction technique inspired by the recent advance in stochastic optimization. We show that, to achieve $ε$ accuracy in 2-Wasserstein distance, our algorithm achieves $ ilde O(n+κ^{2}d^{1/2}/ε+κ^{4/3}d^{1/3}n^{2/3}/ε^{2/3})$ gradient complexity (i.e., number of component gradient evaluations), which outperforms the state-of-the-art HMC and stochastic gradient HMC methods in a wide regime. We also extend our algorithm for sampling from smooth and general log-concave distributions, and prove the corresponding gradient complexity as well. Experiments on both synthetic and real data demonstrate the superior performance of our algorithm.

연구 동기 및 목표

• 부드럽고 강한 로그-볼록 분포에서 더 빠른 샘플링 방법을 힘링턴 몬테카를로(HMC)를 사용해 개발하기 위해.
• 확률적 최적화에서 유래한 분산 감소 기법을 활용해 HMC에서 기울기 평가의 계산 비용을 줄이기 위해.
• 최신의 HMC 및 확률적 기울기 HMC 방법과 비교해 더 빠른 수렴 속도를 달성하기 위해 기울기 복잡도 측면에서 개선을 이루기 위해.
• 일반적인 부드럽고 로그-볼록 분포로의 방법 확장을 위해, 수렴 성질을 분석하기 위해.

제안 방법

• 분산 감소 기법을 HMC 프레임워크에 통합한 확률적 분산 감소 힘링턴 몬테카를로(SVR-HMC) 알고리즘을 제안한다.
• HMC 업데이트 단계에서의 확률적 기울기의 분산을 줄이기 위해 제어 변수 전략을 사용한다.
• 잡음 감소와 정확도 유지의 균형을 위해 주기적인 전체 기울기 업데이트를 시행한다.
• 강한 로그-볼록성 조건 하에서 SVR-HMC의 새로운 수렴 분석을 유도하며, 목표 분포와의 2-워샤르슈타인 거리를 한정한다.
• 혼합 속도와 안정성의 균형을 맞추기 위해 단계 크기 및 운동량 파rameter 스케줄을 도입한다.
• 스무딩 기법을 사용해 일반적인 부드럽고 로그-볼록 분포로의 방법 확장을 수행하고, 해당 수렴 보장을 증명한다.

실험 결과

연구 질문

• RQ1 확률적 최적화에서 유래한 분산 감소 기법을 힘링턴 몬테카를로에 효과적으로 적용해 샘플링 효율성을 향상시킬 수 있는가?
• RQ2 강한 로그-볼록성 조건 하에서, 2-워샤르슈타인 거리에서 $\epsilon$-정확도에 도달하기 위한 확률적 HMC 방법의 최적 기울기 복잡도는 무엇인가?
• RQ3 제안된 SVR-HMC 방법은 기존의 HMC 및 확률적 기울기 HMC 방법과 비교해 수렴 속도 및 기울기 복잡도 측면에서 어떻게 다른가?
• RQ4 분산 감소 프레임워크는 강한 볼록성의 경우를 초월해 일반적인 부드럽고 로그-볼록 분포로 확장될 수 있는가?

주요 결과

• 제안된 SVR-HMC 방법은 부드럽고 강한 로그-볼록 분포에서 2-워샤르슈타인 거리에서 $\epsilon$-정확도에 도달하기 위해 기울기 복잡도 $\widetilde{O}\big{(}n + \kappa^{2}d^{1/2}/\epsilon + \kappa^{4/3}d^{1/3}n^{2/3}/\epsilon^{2/3}\big{)}$를 달성한다.
• 이 복잡도는 $n$이 크거나 $\epsilon$이 작은 경우를 포함한 넓은 매개변수 범위에서 최신 기술의 HMC 및 확률적 기울기 HMC 방법보다 뛰어난 성능을 보인다.
• 일반적인 부드럽고 로그-볼록 분포에 대해서도 이와 유사한 기울기 복잡도 한계를 확보하여, 강한 볼록성의 경우를 초월한 적용 가능성을 넓혔다.
• 합성 및 실질 데이터셋에 대한 실험을 통해 SVR-HMC가 기준 방법보다 더 빠르게 수렴하고 더 높은 샘플링 정확도를 달성하는 것으로 확인되었다.