[논문 리뷰] Perceptual Generative Autoencoders

Zijun Zhang, Ruixiang Zhang외 3명|arXiv (Cornell University)|2019. 06. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 14

한 줄 요약

이 논문은 표준 오토인코더의 인코더를 사용하여 학습된 잠복 공간에서 타깃 데이터 및 생성된 데이터 분포를 일치시킴으로써 생성 오토인코더를 훈련하는 Perceptual Generative Autoencoders (PGA) 프레임워크를 제안한다. 이론적으로 타당한 복원 손실을 통해 데이터 공간과 잠복 공간 양쪽에서 일致성을 강제함으로써 PGA는 최대우도 또는 VAE 목표 함수를 사용하는 비대칭 훈련을 가능하게 하며, CIFAR-10과 CelebA에서 최신 기준(FID 점수)을 달성하면서 기준 VAE 및 일반화된 역행성 플로우 모델을 임의의 아키텍처와 잠복 차원으로 확장한다.

ABSTRACT

Modern generative models are usually designed to match target distributions directly in the data space, where the intrinsic dimension of data can be much lower than the ambient dimension. We argue that this discrepancy may contribute to the difficulties in training generative models. We therefore propose to map both the generated and target distributions to a latent space using the encoder of a standard autoencoder, and train the generator (or decoder) to match the target distribution in the latent space. Specifically, we enforce the consistency in both the data space and the latent space with theoretically justified data and latent reconstruction losses. The resulting generative model, which we call a perceptual generative autoencoder (PGA), is then trained with a maximum likelihood or variational autoencoder (VAE) objective. With maximum likelihood, PGAs generalize the idea of reversible generative models to unrestricted neural network architectures and arbitrary number of latent dimensions. When combined with VAEs, PGAs substantially improve over the baseline VAEs in terms of sample quality. Compared to other autoencoder-based generative models using simple priors, PGAs achieve state-of-the-art FID scores on CIFAR-10 and CelebA.

연구 동기 및 목표

• VAE와 같은 비대칭 생성 모델의 불안정성과 성능 제한성(일반적으로 흐릿한 샘플을 생성함)을 해결하기 위해.
• 데이터 공간과 잠복 공간의 차원이 동일하고 네트워크 설계에 제약이 있는 역행성 생성 모델의 아키텍처 및 차원 제약을 극복하기 위해.
• 데이터의 내재 차원성이 환경 차원성보다 낮은 잠복 공간에서 훈련함으로써 오토인코더 기반 생성 모델의 성능을 향상시키기 위해.
• 잠복 공간에서의 분포 일치를 강제함으로써 데이터 공간에서의 분포 일치를 보장하는 이론적으로 타당한 프레임워크를 제공하기 위해.
• 대칭 성분 없이도 최대우도와 VAE 목표 함수를 하나의 훈련 프레임워크로 통합하기 위해.

제안 방법

• 이 방법은 실재 데이터와 생성된 데이터를 모두 동일한 잠복 공간으로 매핑하기 위해 표준 오토인코더를 사용하며, 타깃 분포와 생성된 분포를 일치시킨다.
• 데이터 복원 손실과 잠복 복원 손실을 통해 일致성을 강제하며, 약한 가정 하에 잠복 오차를 최소화하면 데이터 공간에서의 일치가 이뤄진다는 이론적 근거를 제공한다.
• 최대우도 훈련(LPGA)의 경우, 역행성 플로우를 제한 없는 아키텍처와 임의의 잠복 차원으로 일반화하기 위해 역행성 레이어가 필요 없도록 한다.
• VAE 기반 훈련(VPGA)의 경우, VAE 목표 함수와 잠복 복원 손실을 결합하여 보조 모델이나 복잡한 아키텍처 없이도 샘플의 선명도를 향상시킨다.
• 배치 정규화와 같은 표준 구성 요소와 호환되지만, 디코더에 적용되는 입력 분포가 다를 경우 안정성 문제가 발생할 수 있다.
• 훈련 목표는 데이터 복원, 잠복 복원, 그리고 최대우도 또는 VAE 목표 함수를 조합하며, 손실 가중치를 조절하는 하이퍼파라미터 α, β, γ, η를 포함한다.

실험 결과

연구 질문

• RQ1 학습된 잠복 공간에서 타깃 분포를 일치시키면 데이터 공간에서의 분포 일치가 보장되는가? 어떤 조건에서 가능한가?
• RQ2 대칭 성분 없이도 생성 오토인코더 기반 비대칭 생성 모델이 GAN이나 복잡한 아키텍처에 의존하지 않고 최신 기준 샘플 품질을 달성할 수 있는가?
• RQ3 직접적인 데이터 공간 일치보다 낮은 차원의 잠복 공간에서 훈련하면 훈련 안정성과 샘플 품질이 향상되는가?
• RQ4 이 프레임워크는 임의의 신경망 아키텍처와 잠복 차원으로 확장 가능한 역행성 플로우 모델을 일반화할 수 있는가?
• RQ5 잠복 복원 손실은 기준 VAE 및 최대우도 모델 대비 성능 향상에 어떤 기여를 하는가?

주요 결과

• LPGA는 MNIST에서 Fréchet Inception Distance(FID) 16.99, CIFAR-10에서 114.19, CelebA에서 48.02를 기록하여 뛰어난 생성 성능를 입증한다.
• VPGA는 CIFAR-10과 CelebA에서 최신 기준 FID 점수를 기록하며, 보조 모델 없이도 기준 VAE보다 샘플 품질이 크게 향상된다.
• 제거 실험 결과, 잠복 복원 손실을 제거하면 시각적 품질과 FID 모두에 심각한 열화가 발생함을 확인하여, 이 손실이 성능 향상에 결정적인 역할을 한다는 것을 입증한다.
• 비대칭 손실 덕분에 PGA 훈련은 안정적이며, 총 손실이 빠르게 안정화되고 FID는 훈련 중에 단조롭게 감소한다.
• 배치 정규화는 안정성이 확보될 경우 수렴 속도를 가속화하고 성능을 향상시킬 수 있으나, 디코더에 적용되는 입력 분포가 다를 경우 불안정성을 유발할 수 있다.
• 이 프레임워크는 최대우도와 VAE 목표 함수를 하나의 훈련 철학으로 통합하여, 민첩하고 높은 성능의 생성 모델링을 가능하게 한다.