[논문 리뷰] NeuTra-lizing Bad Geometry in Hamiltonian Monte Carlo Using Neural Transport

Matthew D. Hoffman, Pavel Sountsov외 4명|arXiv (Cornell University)|2019. 03. 09.

Markov Chains and Monte Carlo Methods참고 문헌 28인용 수 65

한 줄 요약

NeuTra HMC는 목표 분포를 왜곡하기 위한 신경 운송 맵을 학습하여 기하학성과 혼합을 개선함으로써 더 빠른 Hamiltonian Monte Carlo를 가능하게 한다; 이는 종종 wall-clock 시간 및 효과 샘플 크기에서 기본 HMC를 능가한다.

ABSTRACT

Hamiltonian Monte Carlo is a powerful algorithm for sampling from difficult-to-normalize posterior distributions. However, when the geometry of the posterior is unfavorable, it may take many expensive evaluations of the target distribution and its gradient to converge and mix. We propose neural transport (NeuTra) HMC, a technique for learning to correct this sort of unfavorable geometry using inverse autoregressive flows (IAF), a powerful neural variational inference technique. The IAF is trained to minimize the KL divergence from an isotropic Gaussian to the warped posterior, and then HMC sampling is performed in the warped space. We evaluate NeuTra HMC on a variety of synthetic and real problems, and find that it significantly outperforms vanilla HMC both in time to reach the stationary distribution and asymptotic effective-sample-size rates.

연구 동기 및 목표

• HMC 수렴 및 혼합 속도를 저해하는 불리한 후방 기하를 해결한다.
• 대상을 왜곡하기 위해 역 자동회귀 흐름(IAFs)을 사용한 확장 가능한 운송 맵 접근법을 개발한다.
• HMC를 더 효율적으로 만들 수 있도록 운송 맵을 학습시키기 위해 변분 추론을 활용한다.
• 합성 및 실제 문제에서 NeuTra HMC를 평가하고 일반 HMC와 비교한다.
• 암묵적 변분 추론 설정에서의 적용 가능성을 탐구한다.

제안 방법

• 변분 추론을 통해 KL(q(θ) || p(θ))를 최소화하도록 역 자동회귀 흐름(IAF)을 맞추고 warp θ = fφ(z)를 정의한다.
• 타깃 p(z) ∝ p(θ = f(z)) |∂f/∂z|에서 z 공간에서 시작 샘플링한 상태로 지오메트리를 따라 Hamiltonian Monte Carlo를 실행한다.
• z-공간 샘플을 f를 통해 앞으로 밀어 θ-공간 샘플을 얻는다.
• 계층적으로 쌓인 IAF를 사용하여 유연하고 확장 가능한 운송 맵을 확보하고 Jacobian 행렬식의 계산을 효율적으로 수행한다.
• 보조 입력에 맵을 조건으로 하여 암묵적 변분 추론을 선택적으로 활용한다.
• HMC의 하이퍼파라미터 튜닝을 Bayesian 최적화를 통해 자동화하여 혼합 및 수렴 진단을 최적화한다.

실험 결과

연구 질문

• RQ1 NeuTra HMC가 ill-conditioned 목표에서 일반 HMC에 비해 혼합 및 수렴 속도를 개선하는가?
• RQ2 신경 운송 맵(IAF 기반)이 HMC의 유효 샘플 수(Efficient Sample Size)와 wall-clock 효율성에 어떤 영향을 미치는가?
• RQ3 신경 운송 맵이 무조건적(uncoupled) 및 조건부(암묵적) 포스터 설정 모두에 도움이 되는가?
• RQ4 운송 맵 학습 시간과 NeuTra HMC의 워밍업/혼합 이점 사이의 트레이드오프는 무엇인가?

주요 결과

• NeuTra HMC는 평가된 문제들에서 일반 HMC에 비해 정상 상태에 도달하는 시간 및 점근적 ESS 속도에서 크게 우수했다.
• IAF 기반 운송 맵은 대각선 또는 삼각 행렬보다 목표 기하를 더 잘 근사해 도전적인 영역(예: 깔때기 목 부분)의 탐색을 개선했다.
• DLGM 및 MNIST 실험과 같은 조건부 모델에서 NeuTra HMC는 암묵적 후방을 다듬어 NeuTra 단계와의 결합 후 테스트 NLL를 개선했다.
• NeuTra는 운송 맵의 야코비안(Jacobian)을 통해 RMHMC와 유사한 적응 동작을 도입하여 전체 RMHMC의 복잡성 없이도 국소 기하를 개선했다.
• 운송 맵 학습 시간은 이후의 더 빠른 혼합으로 보완될 수 있으며, 이는 문제의 기하에 따라 트레이드오프가 달라진다.