[논문 리뷰] PixelVAE: A Latent Variable Model for Natural Images

Ishaan Gulrajani, Kundan Kumar외 5명|arXiv (Cornell University)|2016. 11. 15.

Generative Adversarial Networks and Image Synthesis인용 수 82

한 줄 요약

PixelVAE는 계층적 변동형 오토인코더로서, VAE 아키텍처에 PixelCNN 기반의 순차적 복원 모델을 통합하여 압축된 잠재 코드로 고품질 이미지 생성을 가능하게 한다. 이는 바이너리 MNIST에서 최고 수준의 로그우도를 달성하고, 64×64 ImageNet에서 경쟁력 있는 성능을 보이며, LSUN 침실 이미지에서 고해상도 샘플을 생성한다. 이는 픽셀 수준과 잠재 특징 맵에서 순차적 사전 분포를 사용하여 다중 척도의 이미지 구조를 모델링함으로써 달성된다.

ABSTRACT

Natural image modeling is a landmark challenge of unsupervised learning. Variational Autoencoders (VAEs) learn a useful latent representation and model global structure well but have difficulty capturing small details. PixelCNN models details very well, but lacks a latent code and is difficult to scale for capturing large structures. We present PixelVAE, a VAE model with an autoregressive decoder based on PixelCNN. Our model requires very few expensive autoregressive layers compared to PixelCNN and learns latent codes that are more compressed than a standard VAE while still capturing most non-trivial structure. Finally, we extend our model to a hierarchy of latent variables at different scales. Our model achieves state-of-the-art performance on binarized MNIST, competitive performance on 64x64 ImageNet, and high-quality samples on the LSUN bedrooms dataset.

연구 동기 및 목표

• 표준 VAE가 미세한 세부 사항을 포착하는 데에 한계가 있고, PixelCNN가 분리 가능한 잠재 표현을 갖추지 못하는 문제를 해결한다.
• VAE에 순차적 모델링을 통합하여 샘플의 선명도를 향상시키면서도 압축되고 의미 있는 잠재 코드를 유지한다.
• 픽셀 수준뿐만 아니라 중간 잠재 특징 맵에도 순차적 모델링을 적용하는 계층적 아키텍처를 개발한다.
• MNIST, ImageNet, LSUN 침실과 같은 벤치마크 데이터셋에서 샘플 품질과 로그우도를 향상시킴을 입증한다.
• 계층적 생성 모델에서 다수의 잠재 레이어를 통해 시나리오 속성(예: 기하학, 색상, 질감)의 분리 가능성에 대해 조사한다.

제안 방법

• 다중 공간 척도(예: 1×1 및 8×8 해상도)에서 확률적 잠재 변수를 갖는 VAE 프레임워크를 사용한다.
• 표준 독립적 픽셀 복원 모델 대신 마스크된 컨볼루션을 사용하는 PixelCNN 기반 순차적 복원 모델로 교체한다.
• 출력 픽셀 뿐 아니라 계층적 구조에서 고수준의 잠재 특징 맵에도 순차적 모델링을 적용한다.
• 재구성 과정에서는 티처 포싱을 사용하고, 생성 과정에서는 확률적 샘플링을 적용한다.
• 픽셀 공간과 잠재 공간의 복원 모델 모두에서 순차적 순서를 보장하기 위해 마스크된 컨볼루션을 활용한다.
• 각 잠재 레이어가 PixelCNN를 사용하여 순차적으로 모델링되는 계층적 사전 분포를 구현함으로써 다중 척도에서 구조화된 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 순차적 모델링을 VAE와 융합함으로써 샘플 품질을 향상시키면서도 압축되고 분리 가능한 잠재 표현을 유지할 수 있는가?
• RQ2 디코더의 순차적 레이어 수가 전체 PixelCNN 대비 성능과 계산 비용에 미치는 영향은 어떠한가?
• RQ3 VAE 프레임워크 내에서 계층적 잠재 변수를 순차적 사전 분포로 효과적으로 모델링하여 다중 척도의 이미지 구조를 포착할 수 있는가?
• RQ4 계층의 서로 다른 잠재 레이어가 기하학, 색상, 질감 등의 서로 다른 이미지 속성을 얼마나 잘 분리하여 모델링하는가?
• RQ5 제안된 모델이 64×64 ImageNet과 같은 복잡한 데이터셋에서 경쟁력 있는 로그우도를 달성하면서도 고품질 샘플을 생성할 수 있는가?

주요 결과

• PixelVAE는 바이너리 MNIST에서 최고 수준의 로그우도를 기록하며, 우도와 샘플 품질 측면에서 표준 VAE와 PixelCNN를 모두 초월한다.
• 64×64 ImageNet에서 경쟁력 있는 로그우도를 확보하였으며, 검증 NLL가 ≤3.66 이하로 유지되며, PixelRNN에 비해 약간 낮은 수준이지만 훨씬 더 전역적으로 일관된 샘플을 생성한다.
• 계층적 PixelVAE는 LSUN 침실 데이터셋에서 고품질이고 다양한 샘플을 생성하여 다중 척도에서의 구조화된 시나리오 모델링 능력을 입증한다.
• 제거 실험 결과, 고수준 PixelCNN 디코더를 대체로 대각행렬 가우시안 디코더로 교체할 경우 로그우도가 감소함을 확인하여, 다중 수준에서의 순차적 모델링의 효과를 입증한다.
• 샘플된 이미지의 시각적 분석 결과, 상위 레이어 잠재 변수는 실내 기하학을 모델링하고, 중간 레이어는 색상과 질감을 모델링하며, 픽셀 수준의 잠재 변수는 조명과 정렬과 같은 세부 사항을 모델링함을 확인할 수 있다.
• 표준 VAE보다 더 압축된 잠재 표현을 학습하면서도 대부분의 비트라이비얼한 이미지 구조를 포착함으로써, 분리 가능한 표현 학습을 위한 개선된 인덕티브 바이어스를 확보하였다.