[논문 리뷰] Generalizing Hamiltonian Monte Carlo with Neural Networks

Daniel Lévy, Matthew D. Hoffman외 1명|arXiv (Cornell University)|2017. 11. 25.

Markov Chains and Monte Carlo Methods참고 문헌 38인용 수 25

한 줄 요약

이 논문은 복잡하고 고차원적인 분포에서 효율적으로 샘플링할 수 있도록 히스토그램 몬테카를로(HMC)를 딥 뉴럴 네트워크 기반으로 일반화한 방법을 제안한다. 네트워크를 예상 제곱 이동 거리(ESJD)를 최대화하도록 훈련시킴으로써 혼합 속도가 크게 향상되어 유효 표본 크기에서 최대 106배 향상되었으며, 변분 오토에코더(VAE)에서 더 표현력 있고 비정규 분포의 사후 근사 모델링이 가능해졌다.

ABSTRACT

We present a general-purpose method to train Markov chain Monte Carlo kernels, parameterized by deep neural networks, that converge and mix quickly to their target distribution. Our method generalizes Hamiltonian Monte Carlo and is trained to maximize expected squared jumped distance, a proxy for mixing speed. We demonstrate large empirical gains on a collection of simple but challenging distributions, for instance achieving a 106x improvement in effective sample size in one case, and mixing when standard HMC makes no measurable progress in a second. Finally, we show quantitative and qualitative gains on a real-world task: latent-variable generative modeling. We release an open source TensorFlow implementation of the algorithm.

연구 동기 및 목표

• 다중 모달, 불량 조건 또는 급격히 변화하는 에너지 장에서 표준 HMC의 한계를 해결한다.
• 에너지 수준 간 및 모드 경계를 넘어서도 느린 혼합과 열악한 탐색을 극복한다.
• 수렴성과 혼합 속도에서 표준 HMC를 능가하는 트레이닝 가능한 일반 목적의 MCMC 커널을 개발한다.
• 복잡하고 비정규적인 샘플링 동역학을 학습함으로써 잠재변수 모델에서 더 표현력 있는 사후 근사 모델링을 가능하게 한다.
• 수동 튜닝 없이도 고차원 추론 작업에 바로 적용 가능한 블랙박스형 엔드 투 엔드 트레이닝 가능한 샘플러를 제공한다.

제안 방법

• 현재 상태와 운동량을 입력으로 받아 새로운 상태를 출력하는 딥 뉴럴 네트워크를 사용해 HMC 전이 커널을 매개변수화한다.
• 혼합 속도를 측정하는 예상 제곱 이동 거리(ESJD) 기반의 미분 가능한 대체 손실을 사용해 네트워크를 훈련시킨다.
• 해밀토니안 역학을 통해 역전파가 가능하도록 미분 가능한 적분기를 사용해 엔드 투 엔드 훈련을 가능하게 한다.
• 세부 균형을 유지하고 목표 분포로 수렴하기 위해 메트로폴리스-해스팅스 수락/기각 단계를 적용한다.
• 학습된 샘플러를 변분 오토에코더(VAE)에 통합하여 사후 근사 정확도를 향상시킨다.
• 블록 지브스 샘플링과 사후 시각화를 통해 학습된 샘플러의 표현력을 평가한다.

실험 결과

연구 질문

• RQ1 신경망을 어떻게 훈련시켜 다양한 목표 분포에서 혼합 속도를 향상시키는 방식으로 HMC를 일반화할 수 있는가?
• RQ2 학습된 MCMC 커널이 유효 표본 크기와 수렴 속도 측면에서 표준 HMC를 얼마나 뛰어나게 성능을 냈는가?
• RQ3 제안된 방법이 표준 정규 분포 기반 변분 추론에 비해 잠재변수 모델에서 더 표현력 있는 사후 근사 모델링을 가능하게 하는가?
• RQ4 학습된 샘플러는 MNIST와 같은 실제 복잡한 데이터 분포에서 얼마나 잘 작동하는가?
• RQ5 위치 이동 외에도 고차원 자기상관 또는 기타 표본 통계량을 목표로 하는 데로 방법을 확장할 수 있는가?

주요 결과

• 표준 HMC 대비 한 벤치마크 분포에서 유효 표본 크기에서 106배 향상된 성능을 기록했다.
• 도전적인 다중 모달 분포에서 학습된 샘플러는 효과적으로 혼합되었지만, 표준 HMC는 측정 가능한 진전이 없었다.
• 학습된 샘플러를 사용한 블록 지브스 인페인팅은 모드 간 혼합(예: 숫자 3, 5, 8, 9)에 성공했고, 반면 표준 사후 근사 모델은 단일 모드에 갇혀 있었다.
• 사후 시각화 결과, 학습된 샘플러를 사용할 경우 잠재공간에서 비정규적이고 다중 모달 구조가 확인되어 그 표현력의 우수성을 입증했다.
• 변분 오토에코더 학습에서 보류된 데이터에 대한 로그우도가 향상되어 생성 모델링에서 정량적 성과 향상을 입증했다.
• 오픈소스 텐서플로 구현을 통해 재현 가능성과 실제 추론 파이프라인에의 통합이 가능해졌다.