[논문 리뷰] Ergodic Inference: Accelerate Convergence by Optimisation

Yichuan Zhang, José Miguel Hernández-Lobato|arXiv (Cornell University)|2018. 05. 25.

Gaussian Processes and Bayesian Inference참고 문헌 22인용 수 5

한 줄 요약

이 논문은 유한 길이의 MCMC 체인의 초항수를 기반으로 하여 경량화된 경량 최적화를 통해 MCMC 수렴 속도를 가속화하는 하이브리드 방법인 에르고딕 추론(Ergodic Inference, EI)을 제안한다. MCMC 파라미터를 편향을 최소화하면서도 계산 효율성을 유지하도록 조정하여, 기존의 MCMC-VI 하이브리드 방법보다 딥 생성 모델 벤치마크에서 더 낮은 편향을 가진 독립적인 샘플을 생성한다.

ABSTRACT

Statistical inference methods are fundamentally important in machine learning. Most state-of-the-art inference algorithms are variants of Markov chain Monte Carlo (MCMC) or variational inference (VI). However, both methods struggle with limitations in practice: MCMC methods can be computationally demanding; VI methods may have large bias. In this work, we aim to improve upon MCMC and VI by a novel hybrid method based on the idea of reducing simulation bias of finite-length MCMC chains using gradient-based optimisation. The proposed method can generate low-biased samples by increasing the length of MCMC simulation and optimising the MCMC hyper-parameters, which offers attractive balance between approximation bias and computational efficiency. We show that our method produces promising results on popular benchmarks when compared to recent hybrid methods of MCMC and VI.

연구 동기 및 목표

• MCMC와 변분 추론(VI) 방법 간의 계산 비용과 근사 편향 사이의 상충 관계를 해결하기 위해.
• 장기 버닝 인 기간에 의존하지 않고도, 유한 길이의 MCMC 체인에서의 시뮬레이션 편향을 줄이기 위해.
• 최적화를 활용하여 MCMC 수렴 속도와 샘플 품질을 향상시키는 하이브리드 추론 프레임워크를 개발하기 위해.
• 유사한 목적 함수를 통해 초항수를 조정하여 MCMC 체인의 최종 상태에서 독립적이고 낮은 편향을 가진 샘플을 생성하기 위해.
• 최신 하이브리드 방법보다 훨씬 적은 훈련 시간으로 딥 생성 모델에서 더 높은 테스트 로그우도를 달성하기 위해.

제안 방법

• EI는 최종 MCMC 체인의 분포와 목표 분포 간의 차이를 최소화하는 기반으로 하는 기울기 기반 최적화 목적 함수를 제안한다.
• 이 방법은 힘의 몬테카를로(HMC) 커널을 사용하는 유연한 유한 단계 MCMC 체인을 사용하며, 초항수로는 스텝 크기와 리프로그 단계 수가 포함된다.
• EI는 최종 체인의 기대 로그 비정규화 밀도와 진짜 목표 분포 간의 차이를 최소화함으로써 MCMC 전이 커널의 파라미터를 최적화한다.
• 최적화 목적 함수는 로그 비정규화 목표 밀도에만 의존하므로, 전체 정규화가 필요 없이 효율적인 기울기 계산이 가능하다.
• EI는 초항수 조정 중 계산 비용을 줄이기 위해 정지 기울기 기법을 활용하여 훈련 효율성을 향상시킨다.
• 최종 상태의 MCMC 체인에서 유도된 샘플은 상호 독립적이며, 기존 표준 MCMC에서 흔히 발생하는 자기상관 문제를 피한다.

실험 결과

연구 질문

• RQ1 유한 길이의 체인에서 근사 편향을 줄이기 위해 MCMC 초항수를 최적화할 수 있는가?
• RQ2 기울기 기반 최적화를 통해 MCMC 파라미터를 조정하면 표준 MCMC나 VI보다 수렴 속도와 샘플 품질이 향상되는가?
• RQ3 제안된 방법은 기존의 하이브리드 MCMC-VI 접근법보다 더 낮은 편향을 가진 독립적인 샘플을 생성하는가?
• RQ4 유사하거나 더 높은 테스트 로그우도를 달성할 때 EI의 계산 비용은 기준 방법과 비교해 어떻게 되는가?
• RQ5 EI는 훨씬 적은 훈련 시간으로 딥 생성 모델에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• HEI(Ergodic Inference)는 12시간의 훈련 후 MNIST에서 -81.43의 테스트 로그우도를 기록하여 기준 VAE 및 HVI 방법을 뛰어넘었다.
• 단지 1.65시간의 훈련으로도 HEI는 6시간 훈련된 HVI 방법을 뛰어넘는 -83.17의 테스트 로그우도를 달성했다.
• HEI는 힘의 안내된 중요도 샘플링(HAIS)의 유효 샘플 크기를 48로 줄여 신뢰할 수 있는 로그우도 추정을 가능하게 했다.
• 정지 기울기 기법은 훈련 시간을 최대 5배까지 단축시켜 계산 효율성을 크게 향상시켰다.
• 기대 로그밀도 차이 및 MMD 점수의 그래프 분석 결과, T=10개의 HMC 단계에서도 최소한의 성능 저하가 관찰되어 수렴 속도가 매우 빠름을 확인했다.
• 모든 훈련 시간 동안 HEI는 HVAE, HVI 및 표준 VAE보다 테스트 로그우도에서 뛰어난 성능을 보였으며, 짧은 훈련 시간에서도 일관된 성능 향상을 보였다.