[논문 리뷰] Importance Weighted Autoencoders

Yuri Burda|arXiv (Cornell University)|2015. 09. 01.

Generative Adversarial Networks and Image Synthesis인용 수 249

한 줄 요약

이 논문은 중요도 가중치를 사용하여 로그우도 하한을 더 견고하게 만드는 Importance Weighted Autoencoder (IWAE)를 소개한다. 이는 기존의 변분 오토에인드어(VAE)의 제약된 사후 분포 가정을 완화하여 더 풍부하고 표현력 있는 잠재 표현을 학습할 수 있도록 개선한다. 여러 개의 잠재 코드를 샘플링하고 각 샘플에 대해 그 우도에 비례한 중요도 가중치를 적용함으로써, 동일한 아키텍처를 가진 VAE보다 훨씬 높은 테스트 로그우도를 달성한다.

ABSTRACT

The variational autoencoder (VAE; Kingma, Welling (2014)) is a recently proposed generative model pairing a top-down generative network with a bottom-up recognition network which approximates posterior inference. It typically makes strong assumptions about posterior inference, for instance that the posterior distribution is approximately factorial, and that its parameters can be approximated with nonlinear regression from the observations. As we show empirically, the VAE objective can lead to overly simplified representations which fail to use the network's entire modeling capacity. We present the importance weighted autoencoder (IWAE), a generative model with the same architecture as the VAE, but which uses a strictly tighter log-likelihood lower bound derived from importance weighting. In the IWAE, the recognition network uses multiple samples to approximate the posterior, giving it increased flexibility to model complex posteriors which do not fit the VAE modeling assumptions. We show empirically that IWAEs learn richer latent space representations than VAEs, leading to improved test log-likelihood on density estimation benchmarks.

연구 동기 및 목표

• 변분 오토에인드어(VAE)의 제약된 사후 분포 가정으로 인해 고용량의 잠재 표현을 효과적으로 학습하지 못하는 문제를 해결하기 위해.
• 증거 하한(ELBO)을 강화함으로써 깊이 있는 생성 모델에서의 변분 추론의 표현력을 향상시키기 위해.
• 표준 VAE와 비교해 복잡한 비요인 분포를 더 잘 모델링할 수 있도록 다중 샘플 중요도 가중치를 적용할 수 있음을 보여주기 위해.
• 밀도 추정 벤치마크에서 IWAE가 VAE보다 더 높은 로그우도를 달성하고 더 활성화된 잠재 차원을 학습함을 경험적으로 검증하기 위해.

제안 방법

• IWAE는 인식 네트워크를 사용해 근사 사후분포 q(h|x)로부터 K개의 독립적인 잠재 샘플을 생성한다.
• 각 샘플은 p(x|h)/q(h|x)의 비율에 기반한 중요도 가중치를 부여받으며, 이는 우도들의 가중 평균을 형성한다.
• 목적 함수는 K개 샘플의 가중 평균의 로그 기대값이며, 이는 표준 VAE의 ELBO보다 진짜 로그우도에 더 가까운 하한을 형성한다.
• 모델은 역전파를 사용해 엔드 투 엔드로 훈련되며, 중요도 가중 목적 함수가 표준 VAE 손실에 대체된다.
• 모델는 동일한 아키텍처를 유지하지만, 다수의 샘플을 통해 비요인적 사후 분포를 더 잘 모델링할 수 있다.
• K가 증가함에 따라 IWAE 하한은 진짜 로그우도로 수렴하며, VAE 목적 함수보다 더 정확한 근사치를 제공한다.

실험 결과

연구 질문

• RQ1 더 견고한 로그우도 하한은 변분 오토에인드어의 잠재 표현의 표현력 향상에 기여하는가?
• RQ2 사후 분포 근사에서 다수의 샘플을 사용하면 표준 VAE와 비교해 복잡한 비요인적 사후 분포를 더 잘 모델링할 수 있는가?
• RQ3 IWAE 목적 함수는 VAE에 비해 얼마나 더 적은 수의 비활성 잠재 차원을 줄이는가?
• RQ4 밀도 추정 벤치마크에서 IWAE의 생성 성능는 VAE와 비교해 테스트 로그우도 측면에서 어떻게 다른가?
• RQ5 VAE에서의 잠재 차원 비활성화 현상은 최적화 문제 때문인가, 아니면 목적 함수의 본질적 한계 때문인가?

주요 결과

• IWAE는 동일한 아키텍처를 가진 VAE보다 훨씬 높은 테스트 로그우도를 달성했으며, MNIST 및 CIFAR-10 벤치마크에서 최대 2.5 nats의 향상을 보였다.
• MNIST 데이터셋에서 k=50인 IWAE는 테스트 로그우도 84.88 nats를 기록했고, 최고의 VAE는 86.76 nats를 기록하여 더 뛰어난 생성 성능를 보였다.
• IWAE의 활성화된 잠재 차원 수는 항상 VAE보다 높았으며, 최고의 IWAE 모델은 25개의 활성 단위를 가지며, 최고의 VAE는 19개를 기록했다.
• 반대 목적 함수로 재학습했을 때, IWAE 목적 함수로 훈련된 VAE는 활성 차원 수와 로그우도가 모두 증가했지만, VAE 목적 함수로 훈련된 IWAE는 두 지표 모두에서 성능이 저하되었다.
• 이중층 모델의 두 번째 레이어에서의 활성 차원 수는 항상 10 이하로 남아 있어, 더 깊은 아키텍처에서도 능력이 제한적으로 활용됨을 시사한다.
• 비활성 차원을 제거해도 테스트 로그우도에 거의 영향을 주지 않았다(0.06 nats 이하), 이는 비활성 차원이 생성 성능에 거의 기여하지 않음을 확인한다.