[논문 리뷰] Variational Inference with Hamiltonian Monte Carlo

Christopher A. Wolf, Maximilian Karl외 1명|arXiv (Cornell University)|2016. 09. 26.

Markov Chains and Monte Carlo Methods참고 문헌 18인용 수 14

한 줄 요약

이 논문은 표준 파라미터 가정 가족을 초월하여 사후 분포 근사 향상을 위해 하미르토니안 몬테카를로(HMC) 단계를 변분 하한에 통합하는 새로운 변분 추론 프레임워크를 제안한다. HMC의 수락 단계를 통합함으로써 이론적으로 진정한 사후 분포로의 점근적 수렴을 보장하며, HMC에 대한 수정 사항을 통해 수렴 속도를 향상시켜 밀도 추정 및 변분 오토에인코드러 작업에서 뛰어난 성능을 발휘한다.

ABSTRACT

Variational inference lies at the core of many state-of-the-art algorithms. To improve the approximation of the posterior beyond parametric families, it was proposed to include MCMC steps into the variational lower bound. In this work we explore this idea using steps of the Hamiltonian Monte Carlo (HMC) algorithm, an efficient MCMC method. In particular, we incorporate the acceptance step of the HMC algorithm, guaranteeing asymptotic convergence to the true posterior. Additionally, we introduce some extensions to the HMC algorithm geared towards faster convergence. The theoretical advantages of these modifications are reflected by performance improvements in our experimental results.

연구 동기 및 목표

• 표준 파라미터 가정 가족을 초월하여 변분 추론에서 사후 분포 근사를 향상시키기 위해.
• 더 정확한 사후 분포 추정을 위해 하미르토니안 몬테카를로(HMC) 단계를 변분 하한에 통합하기 위해.
• HMC의 수락 기준을 활용하여 진정한 사후 분포로의 점근적 수렴을 보장하기 위해.
• HMC 알고리즘에 대한 맞춤형 수정을 통해 수렴 속도를 향상시키기 위해.
• 밀도 추정 및 변분 오토에인코드러 작업에서 이 방법의 성능을 평가하기 위해.

제안 방법

• 이 방법은 추론 절차의 일부로 HMC 전이를 포함하여 변분 하한을 확장한다.
• HMC의 수락 단계를 변분 목표에 통합함으로써 진정한 사후 분포에 점근적으로 수렴함을 보장한다.
• 이 접근법은 표준 평균-장 또는 노멀라이징 플로우 근사보다 사후 분포 공간을 더 효과적으로 탐색한다.
• 수렴 속도를 높이기 위해 적응형 스텝 크기 및 리프플로그 통합 조정과 같은 HMC에 대한 알고리즘 수정을 도입한다.
• 이 방법은 밀도 추정 모델 및 변분 오토에인코드러 프레임워크 내에서 적용된다.
• 추론 절차는 미분 가능하므로 확률적 경사 하강법을 통한 엔드 투 엔드 학습이 가능하다.

실험 결과

연구 질문

• RQ1 HMC 단계는 표준 파라미터 가정 가족을 초월한 변분 추론에서 사후 분포 근사 품질을 향상시킬 수 있는가?
• RQ2 HMC 수락 단계를 통합하면 진정한 사후 분포로의 점근적 수렴을 보장할 수 있는가?
• RQ3 HMC 알고리즘에 가해진 수정 사항은 수렴 속도와 추론 품질에 어떤 영향을 미치는가?
• RQ4 이 방법은 밀도 추정 및 변분 오토에인코드러 작업에서 어떤 성능 향상을 보이는가?
• RQ5 변분 추론에 HMC를 통합하는 것이 딥 생성 모델에 대해 미분 가능하고 확장 가능한가?

주요 결과

• 제안된 방법은 복잡한 다모달 사후 분포에서 표준 변분 추론 방법보다 더 나은 사후 분포 근사를 달성한다.
• HMC 수락 단계 통합으로 진정한 사후 분포로의 점근적 수렴이 보장되어 이론적 보장을 검증한다.
• 수정된 HMC 단계는 표준 HMC보다 더 빠른 수렴을 이끌어내어 샘플링 효율성을 향상시킨다.
• 밀도 추정 및 변분 오토에인코드러에 대한 실증 결과는 기준 방법 대비 일관된 성능 향상을 보여준다.
• 이 방법은 유지 가능한 미분 가능성 덕분에 딥 생성 모델에서 엔드 투 엔드 학습이 가능하다.
• 기준 데이터셋에서 더 높은 가능도 점수를 기록하여 데이터 분포를 더 잘 모델링하는 것으로 나타났다.