[논문 리뷰] Learning Model Reparametrizations: Implicit Variational Inference by Fitting MCMC distributions

Michalis K. Titsias|arXiv (Cornell University)|2017. 08. 04.

Gaussian Processes and Bayesian Inference참고 문헌 37인용 수 16

한 줄 요약

이 논문은 로그 밀도 비율 계산을 필요로 하지 않으면서도 유연하고 미분 가능한 변분 근사법을 구성하기 위해 마르코프 체인 몬테카를로(MCMC) 전이와 학습 가능한 모델 기반 재구성 전환을 결합하는 새로운 암시적 변분 추론 방법을 제안한다. MCMC 유래의 암시적 분포에 재구성 전환 기법을 적용함으로써, 연속적이고 미분 가능한 모델에서 안정적이고 스케일러블한 최적화를 가능하게 하며, 복잡한 분포와 변분 오토인코더에서 뛰어난 사후 근사 및 생성 성능을 달성한다.

ABSTRACT

We introduce a new algorithm for approximate inference that combines reparametrization, Markov chain Monte Carlo and variational methods. We construct a very flexible implicit variational distribution synthesized by an arbitrary Markov chain Monte Carlo operation and a deterministic transformation that can be optimized using the reparametrization trick. Unlike current methods for implicit variational inference, our method avoids the computation of log density ratios and therefore it is easily applicable to arbitrary continuous and differentiable models. We demonstrate the proposed algorithm for fitting banana-shaped distributions and for training variational autoencoders.

연구 동기 및 목표

• MCMC를 활용하여 비모수적 유연성과 최적화 효율성 사이의 상충 관계를 해결하고자 한다.
• 명시적인 로그 밀도 비율 계산 없이도 암시적 변분 분포의 안정적이고 미분 가능한 최적화를 가능하게 하고자 한다.
• MCMC의 강점(복잡한 사후 근사의 비모수적 유연성)과 변분 추론의 강점(빠른 스케일러블한 최적화)을 모델 기반 재구성 전환을 통해 융합하고자 한다.
• 임의의 연속적이고 미분 가능한 모델에 적용 가능하며, 암시적 추론과 엔드 투 엔드 학습을 지원하는 방법을 개발하고자 한다.

제안 방법

• MCMC 전이 커널에서 유도된 샘플에 결정적 변환을 적용하여 암시적 변분 분포를 구성함으로써, 재구성 전환 기법을 통해 미분 가능성을 확보한다.
• 학습 가능한 재구성 전환 함수 $ L(\mathbf{x}) $ 와 $ \bm{\mu}(\mathbf{x}) $ 를 사용하여 노이즈 변수 $ \bm{\epsilon} \sim q_{\text{MCMC}}(\bm{\epsilon}) $ 를 잠재 변수 $ \mathbf{z} = L(\mathbf{x})\bm{\epsilon} + \bm{\mu}(\mathbf{x}) $ 로 매핑한다.
• 재구성 전환 기반 기울기와 함께 확률적 경사 하강법을 사용하여 변분 하한 $ \mathcal{F}(\bm{\theta}) = \mathbb{E}_{q(\mathbf{z};\bm{\theta})}[\log p(\mathbf{x},\mathbf{z}) - \log q(\mathbf{z};\bm{\theta})] $ 을 최적화한다.
• 복잡하고도 민감한 사후 근사 분포를 생성하기 위해 하이퍼볼릭 몬테카를로(HMC) 또는 랜덤 워크 메트로폴리스-하스팅스(MH)를 MCMC 커널로 활용한다.
• MCMC 출력을 암시적 분포로 간주함으로써 로그 밀도 비율 계산을 피하고, 명시적 밀도 평가 없이도 기울기 기반 최적화를 가능하게 한다.
• 암시적 추론을 적용: 테스트 입력 $ \mathbf{x}_* $ 에 대해 $ \bm{\epsilon}_* \sim q_{\text{MCMC}}(\bm{\epsilon}) $ 를 생성한 후 $ \mathbf{z}_* = L(\mathbf{x}_*)\bm{\epsilon}_* + \bm{\mu}(\mathbf{x}_*) $ 를 계산하여 빠른 사후 샘플링을 구현한다.

실험 결과

연구 질문

• RQ1 MCMC 전이를 사용하여 재구성 전환 기반의 유연하고 암시적인 변분 분포를 구성할 수 있는가? 이 분포는 미분 가능하고 재구성 전환 기반 학습이 가능한가?
• RQ2 명시적인 로그 밀도 비율 계산을 피할 경우, 암시적 변분 추론의 안정성과 스케일러비리티가 향상되는가?
• RQ3 MCMC 기반 재구성 전환은 복잡한 사후 분포를 모델링하는 데 있어 표준 정규분포나 노멀라이징 플로우 기반 변분 근사보다 우수한 성능을 보일 수 있는가?
• RQ4 MCMC와 재구성 전환의 융합은 변분 오토인코더에서 학습 안정성과 재구성 품질에 어떤 영향을 미치는가?

주요 결과

• 잠재 차원 $ n=5 $ 일 때, HMC 기반 방법은 MNIST 테스트 데이터에서 -104.1400의 교차 엔트로피 재구성 점수를 기록했으며, 이는 표준 정규분포 근사 방법의 -111.2939보다 뛰어난 성능이다.
• 잠재 차원 $ n=10 $ 일 때, HMC 기반 방법은 -82.3134의 교차 엔트로피를 기록했으며, 이는 정규분포 기반 베이스라인의 -87.3213보다 향상된 생성 성능을 보였다.
• 제안된 방법은 복잡한 바나나 모양의 사후 분포를 성공적으로 포착하여, 표준 VI의 정규분포 근사 방법에 비해 뛰어난 유연성을 입증했다.
• 암시적 추론을 통해 최적화를 재실행하지 않고도 테스트 데이터에 대한 빠른 샘플 기반 사후 근사를 가능하게 하였으며, 오직 MCMC와 재구성 전환만으로도 구현되었다.
• 기존의 로그 밀도 비율 추정이 필요한 암시적 VI 방법보다 더 나은 수렴성과 학습 안정성을 확보하였다.
• 명시적 밀도 평가가 필요 없이도, 합성 사후 분포와 실제 VAE 학습 모두에서 효과적인 성능을 발휘하였다.