[논문 리뷰] Learning Deep Generative Models with Annealed Importance Sampling

Xinqiang Ding, David J. Freedman|arXiv (Cornell University)|2019. 06. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 7

한 줄 요약

이 논문은 자르진스키 항등식에 영감을 얻어, 변분 추론(VI)과 마르코프 체인 몬테카를로(MCMC) 간의 간극을 메우기 위해 안내된 중요도 샘플링(AIS)을 사용하여 딥 생성 모델 훈련을 향상시키는 것을 제안한다. 이는 변분 오토에코더(VAE)와 중요도 가중치 오토에코더(IWAE)를 일반화하며, 메모리 사용량을 늘리지 않고도 효율적인 계산-정확도 트레이드오프를 가능하게 하여, MNIST 및 Omniglot 데이터셋에서 IWAE와 MH-HMC를 능가한다.

ABSTRACT

Variational inference (VI) and Markov chain Monte Carlo (MCMC) are two main approximate approaches for learning deep generative models by maximizing marginal likelihood. In this paper, we propose using annealed importance sampling for learning deep generative models. Our proposed approach bridges VI with MCMC. It generalizes VI methods such as variational auto-encoders and importance weighted auto-encoders (IWAE) and the MCMC method proposed in (Hoffman, 2017). It also provides insights into why running multiple short MCMC chains can help learning deep generative models. Through experiments, we show that our approach yields better density models than IWAE and can effectively trade computation for model accuracy without increasing memory cost.

연구 동기 및 목표

• 최대우도 학습 중에 계산이 불가능한 사후분포를 근사하는 데 도전하는 것.
• 더 정확한 우도 추정을 위해 변분 추론(VI)과 마르코프 체인 몬테카를로(MCMC) 간의 격차를 메우는 것.
• AIS를 사용하여 VAE, IWAE, MCMC 기반 학습을 일반화하는 통합 프레임워크를 개발하는 것.
• 메모리 사용량을 늘리지 않고도 계산 비용과 모델 정확도 사이의 효과적인 트레이드오프를 가능하게 하는 것.
• 다양한 짧은 MCMC 체인을 사용할 때 모델 학습이 향상되는 이유에 대한 이론적 및 실증적 통찰을 제공하는 것.

제안 방법

• 방법은 목표 사후분포에서 제안 분포까지의 중간 분포 시퀀스를 활용하여 로그-마진널 우도의 기울기를 추정하기 위해 안내된 중요도 샘플링(AIS)을 사용한다.
• 기울기 추정기는 온도 스케줄 $\beta_t$가 0에서 1로 변화하는 분포 경로를 따라 추출된 가중치가 부여된 샘플의 기대값으로 공식화된다.
• 핵심 추정기는 다중 중요도 샘플링 경로와 적응형 가중치를 允허함으로써 IWAE를 일반화하여 사후분포 근사 향상을 도모한다.
• 자유형 온도 스케줄 $\beta_t$를 사용하여 $0 = \beta_0 \leq \cdots \leq \beta_T = 1$를 만족시키며, 경로 구성의 유연성을 보장한다.
• 샘플 품질 향상을 위해 AIS 프레임워크 내부에 MCMC 단계(MH-HMC 등)를 통합하여 안내 경로를 따라 샘플을 정밀하게 개선한다.
• 단일 및 다중 샘플 경로 모두를 지원하며, $K$ (샘플 수)와 $T$ (안내 단계 수)가 증가할수록 성능 향상이 이루어진다.

실험 결과

연구 질문

• RQ1 안내된 중요도 샘플링은 딥 생성 모델 학습을 위해 VI와 MCMC 방법을 통합하는 프레임워크로 사용될 수 있는가?
• RQ2 기본 VAE 및 IWAE에 비해 AIS는 마진널 우도 추정을 어떻게 향상시키는가?
• RQ3 왜 다수의 짧은 MCMC 체인을 사용할 때 모델 학습이 향상되는가? 이는 AIS 프레임워크 내에서 수학적으로 형식화될 수 있는가?
• RQ4 동일한 계산 비용에서 AIS는 IWAE 및 MH-HMC보다 더 높은 모델 정확도를 달성할 수 있는가?
• RQ5 계산 비용 효율성과 모델 성능에 미치는 $K$ (샘플 수)와 $T$ (안내 단계 수) 증가의 영향은 무엇인가?

주요 결과

• Omniglot 데이터셋에서, 제안된 방법은 $L=5$, $K=50$, $T=11$ 조건에서 테스트 로그우도 -101.64를 기록하여 동일한 계산 비용에서 IWAE-DReG와 MH-HMC를 능가했다.
• 동일한 계산 비용에서 제안된 방법은 IWAE-DReG보다 더 나은 밀도 모델을 생성하여 뛰어난 계산-정확도 트레이드오프를 입증했다.
• T=11일 경우 MH-HMC가 약간 더 뛰어났지만, T=5일 경우 제안된 방법이 더 좋은 결과를 냈으며, 이는 경로 길이에 민감함을 시사한다.
• $K$ 또는 $T$를 증가시킬수록 성능 향상이 일관되게 관찰되어, 더 나은 사후분포 근사가 더 정확한 기울기 추정으로 이어진다는 것을 확인했다.
• MNIST 및 Omniglot에서 최신 기술 수준의 마진널 우도 추정을 달성하였으며, 이중 AIS 기반 우도 추정은 이중 몬테카를로(Bidirectional Monte Carlo)를 통해 검증되었다.
• 이 방법은 메모리 비용 증가 없이 효과적인 계산-정확도 트레이드오프를 가능하게 하여, 대규모 딥 생성 모델링에 적합하다.