[논문 리뷰] Relativistic Monte Carlo

Xiaoyu Sean Lu, Valerio Perrone외 3명|arXiv (Cornell University)|2016. 09. 14.

Markov Chains and Monte Carlo Methods참고 문헌 4인용 수 7

한 줄 요약

이 논문은 뉴턴 역학 대신 상대론적 역학을 HMC의 동역학에 도입하여 입자 속도를 제한함으로써 안정성과 강건성을 향상시킨 상대론적 해밀턴 몽테카를로(RHMC)와 상대론적 확률적 경량 하강법(RSGD)을 제안한다. 이 방법은 베이지안 딥러닝에서 기존 HMC와 Adam보다 뛰어난 성능을 보이며, RSGD는 MNIST에서 더 낮은 테스트 오차를 기록하고 SGLD-Adam보다 더 높은 샘플 효율성을 확보한다.

ABSTRACT

Hamiltonian Monte Carlo (HMC) is a popular Markov chain Monte Carlo (MCMC) algorithm that generates proposals for a Metropolis-Hastings algorithm by simulating the dynamics of a Hamiltonian system. However, HMC is sensitive to large time discretizations and performs poorly if there is a mismatch between the spatial geometry of the target distribution and the scales of the momentum distribution. In particular the mass matrix of HMC is hard to tune well. In order to alleviate these problems we propose relativistic Hamiltonian Monte Carlo, a version of HMC based on relativistic dynamics that introduce a maximum velocity on particles. We also derive stochastic gradient versions of the algorithm and show that the resulting algorithms bear interesting relationships to gradient clipping, RMSprop, Adagrad and Adam, popular optimisation methods in deep learning. Based on this, we develop relativistic stochastic gradient descent by taking the zero-temperature limit of relativistic stochastic gradient Hamiltonian Monte Carlo. In experiments we show that the relativistic algorithms perform better than classical Newtonian variants and Adam.

연구 동기 및 목표

• 질량 행렬의 나쁜 튜닝과 시간 이산화에 대한 민감성으로 인한 해밀턴 몽테카를로(HMC)의 불안정성 문제를 해결하기 위해.
• 고차원적이고 노이즈가 많은 환경에서 확률적 경량 하강 MCMC의 강건성을 향상시키기 위해 상대론적 역학을 도입하여 최대 속도를 도입하기 위해.
• 상대론적 MCMC 알고리즘과 Adam, RMSProp, Adagrad와 같은 인기 있는 딥러닝 최적화 기법들 사이의 이론적 및 실증적 연결 고리를 수립하기 위해.
• 경량 클리핑과 적응형 최적화 기법의 베이지안적 대안을 제공하기 위해 최적화가 아닌 사후분포에서 샘플링하는 방식으로.

제안 방법

• 해밀턴의 운동에너지 $ \frac{1}{2m}p^T p $ 를 상대론적 운동에너지 $ K(p) = m c^2 \left( \frac{p^T p}{m^2 c^2} + 1 \right)^{1/2} $ 로 대체하여 빛의 속도 $ c $ 를 하이퍼파rameter로 도입한다.
• 속도가 $ c $ 로 제한되는 상대론적 해밀턴 방정식을 유도하여, 큰 기울기나 굵은 시간 간격에서도 안정적인 동역학을 보장한다.
• 미니배치 기울기를 통합하고 RMSProp 및 Adam와 유사한 업데이트 규칙을 도출함으로써 상대론적 확률적 경량 하강 HMC(RSGHMC)를 개발한다.
• RSGHMC의 영상 온도 극한을 취해 신규 최적화 알고리즘인 상대론적 확률적 경량 하강법(RSGD)을 유도하여 신경망 학습에 활용한다.
• 상대론적 속도 업데이트를 포함한 리프플롭 적분기를 사용하여 궤적을 시뮬레이션함으로써 수치적 안정성을 확보한다.
• 다변량 대칭 쌍곡분포를 운동량에 적용하여, 이는 상대론적 운동에너지로부터 자연스럽게 유도된다.

실험 결과

연구 질문

• RQ1 상대론적 역학을 통해 최대 속도를 도입함으로써 해밀턴 몽테카를로의 안정성과 강건성이 어떻게 향상되는가?
• RQ2 상대론적 MCMC 알고리즘과 Adam, RMSProp, Adagrad와 같은 적응형 최적화 기법 사이의 관계는 무엇인가?
• RQ3 상대론적 확률적 경량 하강 HMC의 영상 온도 극한이 딥러닝을 위한 경쟁 가능한 최적화 알고리즘을 도출할 수 있는가?
• RQ4 베이지안 신경망에서 상대론적 알고리즘이 기존 HMC와 SGLD-Adam에 비해 수렴성과 일반화 성능 측면에서 어떻게 비교되는가?
• RQ5 상대론적 MCMC에서 하이퍼파rameter $ c $, $ m $, 및 $ \epsilon $ 의 최적 전략은 무엇인가?

주요 결과

• 100개의 뉴런을 가진 피드포워드 네트워크에서 RSGD는 MNIST에서 Adam보다 더 낮은 테스트 오차를 기록하여 더 뛰어난 일반화 성능을 입증하였다.
• Pima Indians 데이터셋에서 RSGD와 RHMC는 SGLD-Adam를 능가하였으며, 이는 작은 기울기로 인한 큰 가중치 업데이트로 인한 불안정성으로 인해 SGLD-Adam가 성능을 떨어뜨렸기 때문이다.
• RSGNHT(상대론적 확률적 경량 하강 NUTS)는 다양한 스텝 사이즈 범위에서 뉴턴 기반 변형보다 낮은 스텔린 불일치도를 보이며 더 뛰어난 샘플링 품질을 나타냈다.
• 기존 HMC와 뉴턴 기반 변형에 비해 상대론적 프레임워크는 하이퍼파rameter 선택과 확률적 기울기 노이즈에 대해 훨씬 더 강건하였다.
• RSGD와 RHMC는 $ \epsilon $ 의 다양한 값에서도 안정적인 성능을 보였으며, 샘플링 품질에 대한 열화가 최소한이었다.
• 상대론적 역학과 적응형 최적화 기법(예: Adam) 사이의 연결 고리는 우연이 아니다. RSGD는 Adam과 유사한 구조를 공유하지만, 적응형 학습률에 대한 베이지안적 해석을 제공한다.