[논문 리뷰] Diffusion Priors In Variational Autoencoders

Antoine Wehenkel, Gilles Louppe|arXiv (Cornell University)|2021. 06. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 8

한 줄 요약

이 논문은 변분 오토에인코더(VAEs)에서 표준 가우시안 사전분포를 대체하여 노이즈 제거 확산 확률 모델(DDPMs)을 학습 가능한 사전분포로 사용함으로써 생성 성능을 향상시키는 것을 제안한다. ELBO 목적함수를 통해 VAE 인코더, 디코더 및 확산 사전분포를 함께 학습함으로써, 일반화 흐름 사전분포와 비슷한 샘플 품질을 달성하였으며, 특히 CelebA에서 가우시안 사전분포보다 뛰어나고, CIFAR10에서도 FID 점수의 제한이 있음에도 불구하고 경쟁 가능한 성능을 보였다.

ABSTRACT

Among likelihood-based approaches for deep generative modelling, variational autoencoders (VAEs) offer scalable amortized posterior inference and fast sampling. However, VAEs are also more and more outperformed by competing models such as normalizing flows (NFs), deep-energy models, or the new denoising diffusion probabilistic models (DDPMs). In this preliminary work, we improve VAEs by demonstrating how DDPMs can be used for modelling the prior distribution of the latent variables. The diffusion prior model improves upon Gaussian priors of classical VAEs and is competitive with NF-based priors. Finally, we hypothesize that hierarchical VAEs could similarly benefit from the enhanced capacity of diffusion priors.

연구 동기 및 목표

• 표준 가우시안 사전분포를 더 표현력 있는 사전분포 모델로 대체하여 변분 오토에인코더(VAEs)의 생성 성능을 향상시키는 것.
• 노이즈 제거 확산 확률 모델(DDPMs)이 VAE 아키텍처에서 효과적인 학습 가능한 사전분포로 기능할 수 있는지 조사하는 것.
• 다양한 데이터셋과 잠재 차원에서 확산 사전분포가 샘플 품질과 FID 점수에 미치는 영향을 평가하는 것.
• 계층적 VAE 아키텍처에서 확산 사전분포의 잠재적 활용을 탐색하여 더 나은 구조적 모델링을 가능하게 하는 것.

제안 방법

• VAE의 표준 가우시안 사전분포를 DDPM 기반 사전분포로 대체하며, 증거 하한값(ELBO) 목적함수를 통해 함께 학습한다.
• 확산 사전분포는 정방향 노이징 과정을 반전시켜 잠재변수의 분포를 모델링하며, 잠재공간에서 스코어 기반 생성 모델을 학습한다.
• VAE의 인코더와 디코더는 ELBO에 대한 확률적 경사상승법을 사용하여 확산 사전분포와 함께 엔드 투 엔드로 학습되며, 이는 사후분포와 사전분포 간의 KL 발산을 포함한다.
• 공정한 비교를 위해 모든 모델에서 동일한 DCGAN 기반 인코더-디코더 백본을 사용하며, 공유된 구성 요소를 포함한다.
• 확산 사전분포는 단순한 MLP 기반 전이 함수를 사용한 3단계 노이즈 제거 과정으로 구현되었으며, 일반화 흐름 기준선과 유사하다.
• 학습은 Adam을 사용하여 250 에포크 동안 수행되었으며, 고정된 학습률 0.0005를 사용하였으며, 검증 세트 성능에 기반해 모델 선택을 수행하였다.

실험 결과

연구 질문

• RQ1 DDPMs가 VAE에서 효과적인 학습 가능한 사전분포로 기능할 수 있는가? 이는 표준 가우시안 사전분포보다 성능 향상을 이끌 수 있는가?
• RQ2 FID 점수와 시각적 정확도 측면에서, 확산 사전분포를 사용한 VAE의 생성 품질이 일반화 흐름 사전분포를 사용한 경우와 비교해 어떻게 되는가?
• RQ3 CelebA와 CIFAR10과 같은 복잡한 데이터 분포에 대해 확산 사전분포가 더 표현력 있고 적합한 사전분포 분포를 제공하는가?
• RQ4 확산 사전분포를 사용한 VAE에서 FID 점수가 시각적 샘플 품질을 충분히 반영하는가?
• RQ5 VAE 압축과 확산 모델링의 조합이 더 단순한 디코더 아키텍처에서도 개선된 샘플 품질을 이끌 수 있는가?

주요 결과

• CelebA 데이터셋에서, 40개의 잠재 차원에서 확산 사전분포는 FID 점수 114.8을 기록하였으며, 가우시안 사전분포(154.3)를 뛰어넘고 일반화 흐름 기준선(72.9)에 가까워졌다.
• CelebA에서 100개의 잠재 차원일 때, 확산 사전분포는 FID 67.95를 기록하였으며, 가우시안 사전분포(149.4)를 크게 앞서며 일반화 흐름 기준선(59.49)에 근접하였다.
• CIFAR10에서, 100차원일 때 확산 사전분포는 FID 160.5를 기록하였으며, 가우시안 사전분포(126.2)보다 약간 열 劣했지만, 시각적 검토 결과 가우시안 사전분포보다 더 현실적인 샘플을 생성하는 것으로 나타났다.
• 높은 FID 점수에도 불구하고, CIFAR10에서의 확산 사전분포 샘플은 가우시안 사전분포의 샘플보다 더 현실적으로 인식되었으며, 이는 FID 점수가 시각적 품질을 완전히 반영하지 못할 수 있음을 시사한다.
• 일반화 흐름 사전분포는 두 데이터셋에서 가장 낮은 FID 점수를 기록했지만, 시각적 품질에서는 일관되게 이점이 나타나지 않아, FID 점수만으로는 샘플 품질 평가에 충분하지 않음을 시사한다.
• 결과적으로, 확산 사전분포는 특히 샘플의 현실성과 계층적 아키텍처와의 호환성 측면에서 일반화 흐름에 비해 강력한 대안이 되며, VAE의 사전분포 모델링에 유망한 선택지로 제시된다.