[논문 리뷰] Generative Latent Flow: A Framework for Non-adversarial Image Generation.

Zhisheng Xiao, Qing Yan외 2명|arXiv (Cornell University)|2019. 05. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 16인용 수 11

한 줄 요약

생성 잠재 흐름(Generative Latent Flow, GLF)은 비대칭적 생성 모델을 제안하며, 오토인코더와 노멀라이징 플로우를 결합하여 잠재 분포를 간단한 노이즈로 명시적으로 매핑함으로써, 오토인코더 기반 모델 중 최고 수준의 샘플 품질을 달성하고, GAN과 경쟁 가능한 성능을 보이며, 빠른 단일 단계 학습과 최소한의 재구성 희생을 가능하게 한다.

ABSTRACT

In this work, we propose the Generative Latent Flow (GLF), an algorithm for generative modeling of the data distribution. GLF uses an Auto-encoder (AE) to learn latent representations of the data, and a normalizing flow to map the distribution of the latent variables to that of simple i.i.d noise. In contrast to some other Auto-encoder based generative models, which use various regularizers that encourage the encoded latent distribution to match the prior distribution, our model explicitly constructs a mapping between these two distributions, leading to better density matching while avoiding over regularizing the latent variables. We compare our model with several related techniques, and show that it has many relative advantages including fast convergence, single stage training and minimal reconstruction trade-off. We also study the relationship between our model and its stochastic counterpart, and show that our model can be viewed as a vanishing noise limit of VAEs with flow prior. Quantitatively, under standardized evaluations, our method achieves state-of-the-art sample quality among AE based models on commonly used datasets, and is competitive with GANs' benchmarks.

연구 동기 및 목표

• 오토인코더 기반 생성 모델에서 밀도 매칭을 향상시키는 비대칭적 생성 모델을 개발하는 것.
• 잠재 분포와 사전 분포 간의 매핑을 명시적으로 모델링하여 히우리스틱 정규화 항목의 필요성을 제거하는 것.
• 재구성 품질을 훼손하지 않으면서도 빠른 수렴과 단일 단계 학습을 달성하는 것.
• 제안된 모델과 플로우 사전을 갖춘 변분 오토인코더 간의 이론적 연결을 수립하는 것.

제안 방법

• 모델은 입력 데이터로부터 압축된 잠재 표현을 학습하기 위해 오토인코더를 활용한다.
• 노멀라이징 플로우를 적용하여 학습된 잠재 분포를 단순하고 다루기 쉬운 사전 분포(예: 등방향 가우시안)로 변환한다.
• 플로우 아키텍처는 정확한 가능도 계산과 가역적 매핑을 가능하게 하여 정밀한 밀도 매칭을 보장한다.
• 학습 목표는 재구성 손실을 최소화하고 플로우 정규화된 잠재 분포 하에서 가능도를 최대화하는 것이다.
• 모델은 반복 최적화 기법이 일반적으로 사용되는 대비적 또는 정규화된 VAE와 달리 단일 단계에서 학습된다.
• 이론적 분석은 GLF가 플로우 사전을 갖춘 VAE의 희미한 노이즈 극한에 해당함을 보여주며, 존재하는 변분 프레임워크와의 체계적인 연결을 제공한다.

실험 결과

연구 질문

• RQ1 노멀라이징 플로우를 통한 명시적 밀도 매칭이 히우리스틱 정규화 항목에 의존하지 않고 오토인코더 기반 생성 모델의 샘플 품질을 향상시킬 수 있는가?
• RQ2 기존의 오토인코더 기반 및 GAN 기반 방법과 비교할 때 제안된 모델은 학습 속도, 수렴 속도 및 재구성 품질 측면에서 어떻게 성능을 내는가?
• RQ3 희미한 노이즈 극한에서 GLF와 플로우 사전을 갖춘 VAE 간의 이론적 관계는 무엇인가?
• RQ4 GLF에서 대비 학습이 없음에도 불구하고 모드 붕괴 없이 안정적이고 고품질의 생성이 가능한가?

주요 결과

• GLF는 표준 벤치마크 데이터셋에서 오토인코더 기반 생성 모델 중 최고 수준의 샘플 품질을 달성한다.
• 모델은 빠른 수렴과 단일 단계 학습을 보이며, GAN에서 흔히 발생하는 학습 불안정성 문제를 피한다.
• GLF는 재구성 품질에 대한 최소한의 희생을 보이며, 고해상도 재구성과 함께 현실적인 샘플을 생성한다.
• 정량적 평가 결과, GLF는 대비 학습을 사용하지 않음에도 불구하고 샘플 품질에서 GAN 기준 성능과 경쟁 가능함을 확인한다.
• 이론적 분석은 GLF가 플로우 사전을 갖춘 VAE의 희미한 노이즈 극한에 해당함을 확인하며, 존재하는 변분 프레임워크와의 체계적인 연결을 제공한다.
• 노멀라이징 플로우를 통한 명시적 밀도 매칭은 정규화된 VAE에 비해 더 나은 가능도 추정과 더 정확한 데이터 분포 모델링을 가능하게 한다.