[논문 리뷰] Generative Latent Flow

Zhisheng Xiao, Qing Yan외 1명|arXiv (Cornell University)|2019. 05. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 59인용 수 21

한 줄 요약

Generative Latent Flow (GLF)는 고전적인 오토인코더 기반 생성 모델로, 정규화 플로우를 사용하여 학습된 잠재 분포를 단순한 사전 분포로 명시적으로 매핑함으로써 고품질의 샘플 생성을 가능하게 한다. 이는 AE 기반 모델 중에서 최고 수준의 샘플 품질을 달성하며, 더 빠른 수렴 속도와 단일 단계 학습을 제공하여 플로우 사전 분포를 가진 VAE를 능가하고, 표준 데이터셋에서 GAN 기준 성능과 견줄 만큼의 성능을 보인다.

ABSTRACT

In this work, we propose the Generative Latent Flow (GLF), an algorithm for generative modeling of the data distribution. GLF uses an Auto-encoder (AE) to learn latent representations of the data, and a normalizing flow to map the distribution of the latent variables to that of simple i.i.d noise. In contrast to some other Auto-encoder based generative models, which use various regularizers that encourage the encoded latent distribution to match the prior distribution, our model explicitly constructs a mapping between these two distributions, leading to better density matching while avoiding over regularizing the latent variables. We compare our model with several related techniques, and show that it has many relative advantages including fast convergence, single stage training and minimal reconstruction trade-off. We also study the relationship between our model and its stochastic counterpart, and show that our model can be viewed as a vanishing noise limit of VAEs with flow prior. Quantitatively, under standardized evaluations, our method achieves state-of-the-art sample quality among AE based models on commonly used datasets, and is competitive with GANs' benchmarks.

연구 동기 및 목표

• 오토인코더 기반 생성 모델에서의 낮은 샘플 품질, 특히 VAE에서 흔히 나타나는 흐릿함 문제를 해결하기 위해.
• 잠재 분포와 사전 분포 간의 매핑을 명시적으로 모델링하여, 잠재 공간에서 히우리스틱 정규화의 필요성을 제거하기 위해.
• 우수한 샘플 품질과 더 빠른 수렴 속도를 갖춘 안정적인 종단 간 학습을 가능하게 하기 위해.
• 정규 모델(GLF)과 확률적 대응 모델(VAE 등 플로우 사전 분포를 가진 것들) 간의 관계를 탐색하기 위해.
• 모순 없는 학습 없이도 정규화 플로우를 활용한 잠재 공간에서 GAN 수준의 샘플 품질을 달성할 수 있음을 입증하기 위해.

제안 방법

• GLF는 데이터의 저차원 잠재 표현을 학습하기 위해 결정론적 오토인코더를 사용하며, 별도의 인코더 및 디코더 네트워크를 갖는다.
• 학습된 잠재 분포와 단순한 사전 분포(예: 표준 정규분포) 간의 가역 변환을 모델링하기 위해 잠재 공간에 정규화 플로우를 적용한다.
• KL 발산 기반 정규화를 피하기 위해, 플로우 정규화된 잠재 분포 하에서 데이터의 로그우도를 최대화하는 방식으로 종단 간 학습을 수행한다.
• VAE와 달리 GLF는 확률적 추론을 사용하지 않으며, 대신 잠재 변수를 결정론적 코드로 간주하고 플로우가 분포 복잡성을 포괄한다.
• 잠재 코드 최적화에서 플로우를 분리함으로써, 정규화된 AE 모델에서 관찰되는 열악한 성능 악화 문제를 피한다.
• 이 방법은 플로우 사전 분포를 가진 VAE의 흐려짐된 노이즈 한계와 동일하며, 이론적 근거를 제공한다.

실험 결과

연구 질문

• RQ1 결정론적 오토인코더에 잠재 공간에서 정규화 플로우를 조합하면 GAN 수준의 고품질 이미지 생성을 달성할 수 있는가?
• RQ2 잠재 분포와 사전 분포 간의 명시적 플로우 기반 매핑은 VAE에서의 암묵적 정규화와 비교해 어떻게 다를까?
• RQ3 왜 정규화된 GLF는 학습 불안정성에 시달리며, GLF는 이를 어떻게 피하는가?
• RQ4 GLF와 플로우 사전 분포를 가진 확률적 모델(VAE 등) 간의 관계는 어떠한가?
• RQ5 오토인코더 기반 모델의 종단 간 단일 단계 학습이, 적대적 학습 없이도 최고 수준의 샘플 품질을 달성할 수 있는가?

주요 결과

• GLF는 MNIST, Fashion-MNIST, CIFAR-10, CelebA에서 오토인코더 기반 모델 중 최고 수준의 샘플 품질을 달성하며, FID 점수에서 GAN 기준 성능과 경쟁 가능하다.
• GLF는 Two-stage VAE와 GLANN보다 수렴 속도가 더 빠르며, MNIST에서는 100 에포크, CIFAR-10에서는 200 에포크, CelebA에서는 40 에포크 만에 최적의 FID 점수에 도달한다.
• 정규화된 GLF는 잠재 분산을 과도하게 페널티 처리함으로써 학습 불안정성과 NLL 손실 악화를 보이며, GLF는 잠재 코드 최적화에서 플로우를 분리함으로써 이를 방지한다.
• 플로우 사전 분포를 가진 VAE는 정규화 강도(β)가 증가함에 따라 GLF의 성능에 수렴하지만, 고강도 β에서도 GLF는 FID 점수에서 약간의 우월성을 유지한다.
• VAE+플로우 사전 분포의 엔트로피 손실은 β가 증가함에 따라 감소하며, 이는 사후 분산의 축소를 의미하지만, GLF는 이러한 분산 붕괴 없이 안정적인 학습을 유지한다.
• GLF의 FID 점수는 학습 도중 안정적으로 향상되며, 진동이 없이 일관되게 개선되는 반면, VAE+플로우 사전 분포 및 정규화된 GLF는 강한 진동을 보인다.