[논문 리뷰] Stochastic Gradient Hamiltonian Monte Carlo

Tianqi Chen, Emily B. Fox외 1명|arXiv (Cornell University)|2014. 02. 17.

Markov Chains and Monte Carlo Methods참고 문헌 23인용 수 352

한 줄 요약

이 논문은 대규모 및 온라인 데이터를 위한 스케일러블한 베이지안 추론 방법인 스토하스틱 그래디언트 해밀턴 몬테카를로(SGHMC)를 제안한다. 이 방법은 해밀턴 몬테카를로와 스케일러블한 그래디언트를 조합하여, 둘째 단계 라운지에이비안 역학에 마찰 항을 도입함으로써, 완전한 데이터 그래디언트 계산 없이도 노이즈가 있는 그래디언트에서도 정확한 목표 분포를 불변 측도로 유지할 수 있다. 이로 인해 전체 데이터 그래디언트 계산 없이도 효율적이고 고수용률의 샘플링이 가능해진다.

ABSTRACT

Hamiltonian Monte Carlo (HMC) sampling methods provide a mechanism for defining distant proposals with high acceptance probabilities in a Metropolis-Hastings framework, enabling more efficient exploration of the state space than standard random-walk proposals. The popularity of such methods has grown significantly in recent years. However, a limitation of HMC methods is the required gradient computation for simulation of the Hamiltonian dynamical system-such computation is infeasible in problems involving a large sample size or streaming data. Instead, we must rely on a noisy gradient estimate computed from a subset of the data. In this paper, we explore the properties of such a stochastic gradient HMC approach. Surprisingly, the natural implementation of the stochastic approximation can be arbitrarily bad. To address this problem we introduce a variant that uses second-order Langevin dynamics with a friction term that counteracts the effects of the noisy gradient, maintaining the desired target distribution as the invariant distribution. Results on simulated data validate our theory. We also provide an application of our methods to a classification task using neural networks and to online Bayesian matrix factorization.

연구 동기 및 목표

• 대규모 또는 스트리밍 데이터 환경에서 전체 그래디언트를 사용하는 해밀턴 몬테카를로(HMC)의 계산 비용 문제를 해결한다.
• 노이즈가 있는 그래디언트로 인해 목표 분포가 손상되는 이유를 분석한다.
• 스케일러블한 그래디언트 하에 원하는 사후분포를 불변 측도로 유지하는 수정된 HMC 프레임워크를 개발한다.
• 빅데이터 및 온라인 베이지안 추론 환경에서 효율적이고 고수용률의 MCMC 샘플링을 가능하게 한다.
• 베이지안 신경망과 온라인 행렬 분해 작업에서의 실용적 효과를 입증한다.

제안 방법

• 완전한 데이터 그래디언트를 노이즈가 있는 미니배치 그래디언트로 대체하는 스토하스틱 그래디언트 HMC 변형을 제안한다.
• 스토하스틱 그래디언트 노이즈의 영향을 상쇄하기 위해 둘째 단계 라운지에이비안 역학에 마찰 항을 도입한다.
• 결과적으로 유도된 연속 시간 역학이 목표 사후분포를 불변 측도로 유지함을 보여준다.
• 메트로폴리스-하스팅스 보정이 필요 없도록 이산화된 역학에서 작은 고정된 스텝 사이즈를 사용한다.
• 중앙극한정리에 따라 그래디언트 노이즈를 정규분포로 모델링하여 이론적 분석을 가능하게 한다.
• 이론적 분석과 합성 데이터 및 실세계 데이터에 대한 실증적 평가를 통해 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 왜 단순한 스토하스틱 그래디언트 HMC는 정확한 목표 분포를 유지하지 못하는가?
• RQ2 라운지에이비안 역학에 마찰 항을 도입하면 스토하스틱 그래디언트 하에서 원하는 불변 분포를 복원할 수 있는가?
• RQ3 대규모 문제에서 SGHMC는 SGLD 및 표준 HMC에 비해 수렴 속도와 정확도 측면에서 어떻게 비교되는가?
• RQ4 SGHMC는 행렬 분해와 같은 온라인 베이지안 추론 작업에 효과적으로 적용될 수 있는가?
• RQ5 SGHMC에서 스텝 사이즈, 계산 비용, 샘플링 정확도 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 단순한 스토하스틱 그래디언트 HMC는 도입된 노이즈가 해밀턴 역학을 교란시켜 잘못된 불변 분포를 초래하기 때문에 실패한다.
• 제안된 둘째 단계 라운지에이비안 역학의 마찰 항은 그래디언트 노이즈를 효과적으로 상쇄하여 목표 사후분포를 불변 측도로 유지한다.
• MNIST 분류 작업에서 베이지안 신경망에 대해 SGHMC는 SGLD 및 모멘텀이 있는 SGD보다 더 빠른 수렴 속도를 보이며 낮은 테스트 오차에 도달한다.
• Movielens 데이터셋에서 온라인 베이지안 행렬 분해에 대해 SGHMC는 예측 RMSE 0.8411 ± 0.0011을 기록하여 SGD 및 모멘텀이 있는 SGD를 능가했다.
• SGHMC는 SGLD와 유사한 런타임을 기록하면서도 더 나은 또는 동일한 성능을 보여, 효율성과 스케일러비리티를 확인했다.
• 실증 결과에 따르면, 작은 고정 스텝 사이즈를 사용하더라도 SGHMC는 메트로폴리스-하스팅스 보정 없이도 양호한 샘플링 품질을 유지한다.