[논문 리뷰] NCP-VAE: Variational Autoencoders with Noise Contrastive Priors

Jyoti Aneja, Alex Schwing외 2명|arXiv (Cornell University)|2021. 05. 04.

Generative Adversarial Networks and Image Synthesis인용 수 21

한 줄 요약

이 논문은 전염성 우선 분포를 가진 변동형 오토인코더(NCP-VAE)를 제안하며, 노이즈 대비 추정을 통해 재가중 인자(reweighting factor)를 학습하여 사전 분포를 집합 사후 분포와 더 가깝게 맞추어, 사전 구멍(prior hole) 문제를 완화한다. 이 방법은 아키텍처 변경 없이 MNIST, CIFAR-10, CelebA 64, CelebA HQ 256에서 이미지 생성 품질을 크게 향상시킨다.

ABSTRACT

Variational autoencoders (VAEs) are one of the powerful likelihood-based generative models with applications in various domains. However, they struggle to generate high-quality images, especially when samples are obtained from the prior without any tempering. One explanation for VAEs’ poor generative quality is the prior hole problem: the prior distribution fails to match the aggregate approximate posterior. Due to this mismatch, there exist areas in the latent space with high density under the prior that do not correspond to any encoded image. Samples from those areas are decoded to corrupted images. To tackle this issue, we propose an energy-based prior defined by the product of a base prior distribution and a reweighting factor, designed to bring the base closer to the aggregate posterior. We train the reweighting factor by noise contrastive estimation, and we generalize it to hierarchical VAEs with many latent variable groups. Our experiments confirm that the proposed noise contrastive priors improve the generative performance of state-of-the-art VAEs by a large margin on the MNIST, CIFAR-10, CelebA 64, and CelebA HQ 256 datasets.

연구 동기 및 목표

• 변동형 오토인코더에서 사전 분포의 고밀도 영역이 실제 데이터와 대응되지 않는 '사전 구멍 문제'를 해결하기 위해.
• VAE에서 사전 분포와 집합 근사 사후 분포 간의 일치도를 향상시키기 위해.
• 에너지 기반 사전 분포와 노이즈 대비 추정을 사용하여 VAE의 생성 품질을 향상시키는 일반화 가능한 방법을 개발하기 위해.
• 다중 잠재변수 그룹을 가진 계층적 VAE에 제안된 사전 학습 기반을 확장하기 위해.
• 다양한 이미지 생성 벤치마크에서 방법의 효과성을 실증적으로 검증하기 위해.

제안 방법

• 집합 사후 분포와 더 잘 맞추기 위해 기본 사전과 학습된 재가중 인자를 포함한 에너지 기반 사전을 제안한다.
• 실제 잠재 코드와 노이즈 샘플을 구분할 수 있도록 재가중 인자를 노이즈 대비 추정을 통해 훈련한다.
• 다중 잠재변수 그룹에 재가중 인자를 적용하여 계층적 VAE에 이 방법을 일반화한다.
• 저확률 잠재 영역에서 생성된 손상된 이미지를 방지하기 위해 추론 시 재가중 사전을 사용한다.
• 기본 아키텍처나 목적 함수를 수정하지 않고 표준 VAE 훈련에 노이즈 대비 사전을 통합한다.
• 재가중 함수 최적화를 위해 대비 손실을 사용하여, 사전 분포가 사후 밀도가 높은 영역으로 향하도록 보장한다.

실험 결과

연구 질문

• RQ1 노이즈 대비 추정이 VAE에서 사전-사후 분포 일치도를 향상시키는 데 효과적인 재가중 함수를 효과적으로 학습할 수 있는가?
• RQ2 제안된 에너지 기반 사전이 사전 구멍 문제를 줄이고 이미지 생성 품질을 향상시키는가?
• RQ3 MNIST, CIFAR-10, CelebA HQ 256와 같이 복잡도가 다양한 다양한 데이터셋에서 이 방법의 성능은 어떠한가?
• RQ4 다중 잠재변수 그룹을 가진 계층적 VAE에 이 방법을 성공적으로 확장할 수 있는가?
• RQ5 아키텍처 수정 없이 하이퍼파라미터 튜닝 없이도 생성 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 NCP-VAE는 기준 VAE에 비해 MNIST, CIFAR-10, CelebA 64, CelebA HQ 256에서 이미지 생성 품질을 크게 향상시킨다.
• 실제로 집합 사후 분포와 일치하도록 재가중 인자를 학습하여 사전 구멍 문제를 효과적으로 줄인다.
• 노이즈 대비 사전 분포 덕분에 더 현실적이며 손상된 샘플이 적은 생성 결과를 얻을 수 있으며, 특히 온도 조절 없이 사전에서 샘플링할 경우 두드러진다.
• 다양한 아키텍처와 데이터셋에서 일관된 성능 향상을 보이며, 광범위한 적용 가능성을 시사한다.
• 이 방법은 계층적 VAE로 일반화되어 깊이 있는 생성 모델에서도 성능 향상을 유지한다.
• 노이즈 대비 추정을 통해 데이터 기반 재가중 인자를 학습함으로써 아키텍처 변경 없이 VAE를 향상시킬 수 있음을 결과가 확인한다.