[논문 리뷰] Variational Lossy Autoencoder

Xi Chen, Diederik P. Kingma외 6명|arXiv (Cornell University)|2016. 11. 08.

Generative Adversarial Networks and Image Synthesis인용 수 257

한 줄 요약

본 논문은 Variational Lossy Autoencoder (VLAE)를 제안한다. VLAE는 autoregressive prior와 decoder로 정보를 배치하는 것을 제어하는 VAE 모델로, 손실 있는(global) 표현과 여러 이미지 데이터셋에서의 최첨단 밀도 추정치를 가능하게 한다.

ABSTRACT

Representation learning seeks to expose certain aspects of observed data in a learned representation that's amenable to downstream tasks like classification. For instance, a good representation for 2D images might be one that describes only global structure and discards information about detailed texture. In this paper, we present a simple but principled method to learn such global representations by combining Variational Autoencoder (VAE) with neural autoregressive models such as RNN, MADE and PixelRNN/CNN. Our proposed VAE model allows us to have control over what the global latent code can learn and , by designing the architecture accordingly, we can force the global latent code to discard irrelevant information such as texture in 2D images, and hence the VAE only "autoencodes" data in a lossy fashion. In addition, by leveraging autoregressive models as both prior distribution $p(z)$ and decoding distribution $p(x|z)$, we can greatly improve generative modeling performance of VAEs, achieving new state-of-the-art results on MNIST, OMNIGLOT and Caltech-101 Silhouettes density estimation tasks.

연구 동기 및 목표

• 잠재 코드가 장거리 구조를 포착하도록 강제하고 로컬 세부 정보는 autoregressive 디코더에 의해 모델링되도록 하여 글로벌하고 해방된 표현을 학습하는 것을 목표로 한다.
• 강력한 디코더를 갖는 VAEs가 종종 잠재 변수의 활용을 무시하는 이유를 조사하고, 정보 배치 전략으로 이를 완화하는 방법을 모색한다.
• 명시적 정보 배치를 통한 constrained autoregressive decoding 및 학습된 autoregressive prior의 두 가지 보완적 향상을 제안하여 표현력과 밀도 추정을 모두 개선한다.
• 이진 이미지 데이터셋에서 VLAE를 평가하여 글로벌 구조의 손실 코딩 및 밀도 추정 성능을 평가한다.
• Autoregressive 구성 요소를 가진 CIFAR-10에서 prior VAE 대비 개선된 성능과 경쟁력 있는 결과를 보임.

제안 방법

• Variational Autoencoders를 신경망 autoregressive 모델과 결합하여 VLAE를 형성한다.
• p(x|z) decoding 분포를 작은 수용 영역으로 설정하여 z에 글로벌 정보를 강제하고 데이터의 손실 표현을 가능하게 한다.
• autoregressive 디코더가 로컬 통계만 모델링하도록 제한하여 장거리 구조를 잠재 코드로 밀어 넣는다.
• prior p(z)를 autoregressive flow(AF)로 매개화하는데, 이는 엔코더 경로의 역자동회(IAR)가 되는 포스터리어에 해당하여 추가 학습 비용 없이 더 표현력이 높은 생성 모델을 제공한다.
• 선택적으로 autoregressive 디코더(PixelCNN)를 도입하여 밀도 추정을 개선한다.
• Bits-Back Coding 해석을 활용해 잠재 코드 z가 언제 활용되는지 분석하고 정보 배치 전략을 동기화한다.

실험 결과

연구 질문

• RQ1 VLAE가 이미지에서 글로벌 통계를 encode하는 손실 코드들을 학습할 수 있는가?
• RQ2 IAF 포스터리어를 AF priore로 대체하면 밀도 추정 및 잠재 활용에 어떤 개선이 있는가?
• RQ3 autoregressive 디코딩 분포를 사용하는 것이 비-autoregressive 디코더에 비해 밀도 추정 성능을 개선하는가?
• RQ4 autoregressive 디코더의 receptive-field 크기가 z에 저장되는 정보에 어떤 영향을 미치는가?
• RQ5 VLAE가 표준 이미지 벤치마크(MNIST, OMNIGLOT, Caltech silhouettes, CIFAR-10)에서 이전의 상태-오브-더-아트 density 모델과 경쟁력 있거나 우수한가?

주요 결과

• VLAE는 글로벌 구조를 잠재 코드에 포착하고 로컬 텍스처는 autoregressive 디코더가 모델링하는 손실 표현을 학습한다.
• AF priore은 statically binarized MNIST에서 부정 로그 가능도 측면에서 동등한 IAF 포스터리어보다 우수하여 AF priore의 더 깊은 생성 모델이 이점을 제공함을 시사한다.
• AF priore로 autoregressive 디코더(PixelCNN)를 사용할 경우 MNIST, OMNIGLOT, Caltech-101 Silhouettes 데이터셋에서 최첨단이거나 경쟁적인 밀도 추정치를 얻는다.
• CIFAR-10에서 DenseNet 백본을 사용하는 VLAE는 경쟁력 있는 우도를 달성하며, 이전의 여러 변분 모델을 능가하고 PixelCNN++ 수준의 성능에 근접한다.
• PixelCNN 디코더의 receptive-field 크기는 잠재 코드가 글로벌 대 로컬 정보를 얼마나 인코딩하는지에 영향을 미친다; 더 작은 필드는 z에 더 많은 로컬 디테일을 보존하고, 더 큰 필드는 z로 더 많은 구조를 전이한다.