[논문 리뷰] Scaling Hamiltonian Monte Carlo Inference for Bayesian Neural Networks with Symmetric Splitting

Adam D. Cobb, Brian Jalaian|arXiv (Cornell University)|2020. 10. 13.

Markov Chains and Monte Carlo Methods인용 수 23

한 줄 요약

이 논문은 베이지안 신경망에서 배치 전체를 사용하는 HMC 추론을 가능하게 하는 새로운 대칭 분할 통합 방법을 제안한다. 이 방법은 확률적 경사하강법에 의존하지 않으며, 정확도와 불확실성 측정에서 기존의 확률적 경사하강 MCMC보다 뛰어난 성능을 보이며, 단일 GPU에서 효율적으로 스케일링되며 실제 음향 분류 작업에서 이전의 분할 방법들을 능가한다.

ABSTRACT

Hamiltonian Monte Carlo (HMC) is a Markov chain Monte Carlo (MCMC) approach that exhibits favourable exploration properties in high-dimensional models such as neural networks. Unfortunately, HMC has limited use in large-data regimes and little work has explored suitable approaches that aim to preserve the entire Hamiltonian. In our work, we introduce a new symmetric integration scheme for split HMC that does not rely on stochastic gradients. We show that our new formulation is more efficient than previous approaches and is easy to implement with a single GPU. As a result, we are able to perform full HMC over common deep learning architectures using entire data sets. In addition, when we compare with stochastic gradient MCMC, we show that our method achieves better performance in both accuracy and uncertainty quantification. Our approach demonstrates HMC as a feasible option when considering inference schemes for large-scale machine learning problems.

연구 동기 및 목표

• 대규모 데이터에서의 베이지안 신경망(BNN)에 적용되는 하이퍼볼릭 몬테카를로(HMC)의 확장성 한계를 해결하기 위해 전체 하이퍼볼릭 에너지를 유지하는 것을 목표로 한다.
• 이전의 비대칭 또는 랜덤화된 분할 방법보다 더 뛰어난 안정성과 효율성을 제공하는 대칭 분할 통합 방법을 개발하는 것.
• 작업 데이터셋 전체를 사용하여 표준 딥러닝 아키텍처에서 실용적인 전체 HMC 추론을 가능하게 하는 것.
• 전체 HMC와 대칭 분할이 확률적 경사하강 MCMC보다 불확실성 측정과 분류 정확도에서 뛰어나다는 것을 입증하는 것.
• 더 넓은 범위의 대규모 머신러닝 응용 분야에서의 보급을 위해 hamiltorch 파이썬 패키지를 통해 사용자 친화적인 구현을 제공하는 것.

제안 방법

• 시간 역행성과 에너지 보존을 유지하는 대칭 분할 통합 방법을 제안하여 수치적 안정성을 향상시킨다.
• 데이터 서브셋 기반으로 하이퍼볼릭을 두 부분으로 나누어 각 부분에 대해 해석적 또는 효율적인 수치적 통합을 가능하게 한다.
• 확률적 경사하강법을 피하고 대칭 분할을 활용하여 더 긴 궤도 길이를 확보함으로써 단일 GPU에서 전체 배치 HMC를 수행한다.
• 대칭 업데이트를 사용하는 레프플로그 통합자를 적용하여 하이퍼볼릭 시스템의 심플렉틱 구조를 유지한다.
• 미니배치나 확률적 근사 없이 전체 데이터 가능도를 사용하여 딥 네트워크에 적용한다.
• hamiltorch 라이브러리에 통합하여 딥러닝 워크플로우에서의 간편한 배포와 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 비대칭 또는 랜덤화된 분할 방법보다 샘플링 효율성과 정확도 측면에서 뛰어난 성능을 보이는 대칭 분할 HMC를 설계할 수 있는가?
• RQ2 대칭 분할을 사용한 전체 배치 HMC는 베이지안 신경망에서 확률적 경사하강 MCMC보다 더 나은 불확실성 측정 성능을 보일 수 있는가?
• RQ3 확률적 근사 없이 대규모 데이터셋과 표준 딥러닝 아키텍처에 대해 전체 HMC를 효율적으로 스케일링할 수 있는가?
• RQ4 고차원 매개변수 공간에서의 수렴성과 믹싱 성능 측면에서 이전의 분할 방법과 비교해 대칭 분할 방법은 어떠한가?
• RQ5 실제 적용 사례인 음향 차량 분류에서 제안된 방법이 분류 정확도와 불확실성 캘리브레이션에 얼마나 향상되는가?

주요 결과

• 제안된 대칭 분할 HMC 방법은 특히 고차원 BNN에서 이전의 분할 방법보다 더 뛰어난 샘플링 효율성과 안정성을 확보하였다.
• 음향 차량 분류 작업에서, 이 방법은 분류 정확도와 불확실성 측정 모두에서 확률적 경사하강 MCMC를 능가하였다.
• 잘못 분류된 샘플에 대해 낮은 신뢰도 점수를 생성하여, SGHMC가 모든 예측에서 높은 상호정보량을 보였던 것과 비교해 더 나은 불확실성 캘리브레이션을 보였다.
• 이 방법을 통해 단일 GPU를 사용하여 전체 데이터셋에 대한 전체 HMC 추론이 가능해졌으며, 이는 대규모 딥러닝 응용 분야에서의 실현 가능성을 입증하였다.
• 혼동 행렬 분석 결과, 대칭 분할 HMC는 예측의 정확성과 오류에 대한 불확실성 간의 구분이 뚜렷했으며, 잘못된 분류에 대해 더 높은 상호정보량을 보였다.
• 이 방법은 HMC의 뛰어난 탐색 성질을 유지하여 복잡한 사후 분포를 효과적으로 샘플링할 수 있는 긴 궤도 길이를 가능하게 하였다.