[논문 리뷰] NVAE: A Deep Hierarchical Variational Autoencoder

Arash Vahdat, Jan Kautz|arXiv (Cornell University)|2020. 07. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 79인용 수 378

한 줄 요약

NVAE는 깊은 계층적 VAE를 설계하여 depthwise separable convolution과 잔차 포스터리어 매개화를 사용해 여러 이미지 데이터셋에서 비자기회귀 가능도에서 최첨단 성능을 달성하는 동시에 대규모 이미지 생성을 가능하게 한다.

ABSTRACT

Normalizing flows, autoregressive models, variational autoencoders (VAEs), and deep energy-based models are among competing likelihood-based frameworks for deep generative learning. Among them, VAEs have the advantage of fast and tractable sampling and easy-to-access encoding networks. However, they are currently outperformed by other models such as normalizing flows and autoregressive models. While the majority of the research in VAEs is focused on the statistical challenges, we explore the orthogonal direction of carefully designing neural architectures for hierarchical VAEs. We propose Nouveau VAE (NVAE), a deep hierarchical VAE built for image generation using depth-wise separable convolutions and batch normalization. NVAE is equipped with a residual parameterization of Normal distributions and its training is stabilized by spectral regularization. We show that NVAE achieves state-of-the-art results among non-autoregressive likelihood-based models on the MNIST, CIFAR-10, CelebA 64, and CelebA HQ datasets and it provides a strong baseline on FFHQ. For example, on CIFAR-10, NVAE pushes the state-of-the-art from 2.98 to 2.91 bits per dimension, and it produces high-quality images on CelebA HQ. To the best of our knowledge, NVAE is the first successful VAE applied to natural images as large as 256$ imes$256 pixels. The source code is available at https://github.com/NVlabs/NVAE .

연구 동기 및 목표

• 고품질 이미지 생성을 위해 설계된 깊은 계층적 VAE 아키텍처를 설계한다.
• 여러 잠재 그룹을 갖는 매우 깊은 VAE의 학습을 안정화한다.
• 대규모 이미지의 메모리 효율성과 샘플링 속도를 향상시킨다.

제안 방법

• 생성 모델에 깊이별 분리 합성곱을 도입하여 수용 영역을 효율적으로 확장한다.
• KL 항을 안정시키기 위해 근사 posterior를 prior에 대해 잔차 매개화로 사용한다.
• 라이피치츠 상수를 제한하고 학습을 안정시키기 위해 스펙트럴 정규화를 적용한다.
• 학습 안정성을 높이기 위해 조정된 모멘텀과 BN-활성화 페어링을 포함한 배치 정규화를 적용한다.
• 메모리 사용을 줄이기 위해 혼합 정밀도 훈련과 그래디언트 체크포인팅을 고용한다.
• 필요에 따라 인코더에 경량 정규화 흐름을 적용해 포스터리어 표현력을 증가시킨다.

실험 결과

연구 질문

• RQ1 carefully designed deep hierarchical VAE가 표준 이미지 데이터셋에서 기존의 비자기회귀 가능도 기반 모델을 능가할 수 있는가?
• RQ2 대형 이미지의 VAE 학습 안정성을 가장 크게 향상시키는 아키텍처 선택(합성곱, 정규화, 활성화, 잔차 매개화)은 무엇인가?
• RQ3 256×256 해상도에서 깊은 VAE의 학습 및 샘플링 효율성에 메모리- 및 계산 절감 기술이 어떤 영향을 미치는가?
• RQ4 인코더에 정규화 흐름을 추가하는 것이 안정성을 해치지 않으면서 held-out 로그 가능도를 의미있게 향상시키는가?

주요 결과

방법	MNIST	CIFAR-10	ImageNet	CelebA	CelebA HQ	FFHQ
NVAE w/o flow	78.01	2.93	-	2.04	-	0.71
NVAE w/ flow	78.19	2.91	3.92	2.03	0.70	0.69

• NVAE는 MNIST, CIFAR-10, CelebA 64, CelebA HQ-256에서 비자기회귀 가능도 기반 모델들 중 최첨단 결과를 달성했으며 FFHQ-256에서도 강력한 베이스라인이다.
• CIFAR-10에서 2.98에서 2.91 비트/차원으로 향상된다.
• NVAE는 고품질의 256×256 이미지를 생성할 수 있으며 표준 VAE 목적함수를 바꾸지 않고도 이를 수행한 최초의 VAE들 중 하나이다.
• 샘플링은 조건부가 아닌 디코더 덕분에 빠르며 Titan V GPU에서 이미지당 56 ms(배치 크기 36)이다.
• 변이 실험은 Swish 활성화와 SE를 갖춘 BN, 깊이별 분리 가능 생성 셀, SR 및 잔차 포스터리어 매개화가 모두 성능과 안정성에 기여함을 보여준다.
• 메모리 감소 기법(혼합 정밀도 및 그래디언트 체크포인팅)은 대략 학습 처리량을 두 배로 늘린다.