[논문 리뷰] Optimizing the Latent Space of Generative Networks

Piotr Bojanowski, Armand Joulin외 2명|arXiv (Cornell University)|2017. 07. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 55인용 수 202

한 줄 요약

GLO는 재구성 손실로 각 이미지의 잠재 코드를 학습하여 심층 컨볼루션 생성기를 학습시키며, adversarial 학습을 피하면서도 의미 있는 보간과 선형 산술 등의 GAN과 유사한 잠재공간 특성을 재현한다.

ABSTRACT

Generative Adversarial Networks (GANs) have achieved remarkable results in the task of generating realistic natural images. In most successful applications, GAN models share two common aspects: solving a challenging saddle point optimization problem, interpreted as an adversarial game between a generator and a discriminator functions; and parameterizing the generator and the discriminator as deep convolutional neural networks. The goal of this paper is to disentangle the contribution of these two factors to the success of GANs. In particular, we introduce Generative Latent Optimization (GLO), a framework to train deep convolutional generators using simple reconstruction losses. Throughout a variety of experiments, we show that GLO enjoys many of the desirable properties of GANs: synthesizing visually-appealing samples, interpolating meaningfully between samples, and performing linear arithmetic with noise vectors; all of this without the adversarial optimization scheme.

연구 동기 및 목표

• GAN의 성공이 convnet의 귀납 편향에서 오는지 아니면 적대적 학습(A1 대 A2)에서 오는지 조사한다.
• 재구성 손실을 통해 생성기와 이미지별 잠재 코드를 학습하는 비대립적 프레임워크(GLO)를 제안한다.
• 데이터세트 전반에 걸쳐 GLO를 평가하여 샘플 품질, 잠재 공간 보간, 선형 산술을 평가한다.
• 재구성과 생성 능력 측면에서 PCA, VAE, GAN 기반과 GLO를 비교한다.

제안 방법

• 학습 이미지마다 θ와 잠재 코드 z_i를 공동으로 최적화하여 잠재 벡터 z_i를 이미지 x_i로 매핑하는 생성기 g_θ를 학습한다.
• 재구성 손실 ℓ( g_θ(z_i), x_i )를 사용하고 SGD로 θ와 z_i를 최소화한다.
• 업데이트 후 각 z_i를 단위 ℓ2-구면 위로 투영하여 잠재 벡터를 구면에 유지한다.
• 생성을 위해 Z를 단위 구면 또는 간단한 가우시안(prior)을 기반으로 고려한다.
• 손실 옵션을 실험한다. Laplacian 피라미드 L1 손실 및 L2 손실(색상/저주파 콘텐츠를 보존하기 위한 가중 합 포함)을 포함한다.
• GAN 문헌과의 비교를 용이하게 하기 위해 DCGAN과 정합된 생성기 아키텍처를 채택한다.

실험 결과

연구 질문

• RQ1 적대적 학습 프로토콜을 제거하면서 convnet의 priors를 유지하면 경쟁력 있는 생성 모델이 얻어질까?
• RQ2 재구성 손실로 학습 가능한 잠재 공간이 GAN과 유사한 의미 있는 보간과 선형 산술을 지원할 수 있는가?
• RQ3 다양한 이미지 데이터셋에서 재구성 품질, 샘플 품질, 잠재 공간 구성 측면에서 GLO의 성능은 어떠한가?

주요 결과

• GLO는 시각적으로 매력적인 샘플을 합성하고 GAN과 유사하게 의미 있는 보간을 보여준다.
• GLO의 잠재 공간 산술은 일관된 변환을 만들어낸다(예: 성별이나 액세서리와 같은 속성을 결합).
• GLO의 잠재 벡터는 해석 가능한 이미지 특징(예: 배경, 방향, 성별)과 정렬되는 주성분 방향으로 보간하고 정리될 수 있다.
• CelebA, MNIST, SVHN 등의 데이터세트에서 GLO는 PCA, VAE 및 GAN 기본선에 비해 재구성 및 생성에서 경쟁력 있는 성능을 보인다.
• LSUN-bedroom에서의 GLO 성능은 GAN보다 약해 광범위하고 변동성이 큰 데이터세트에 대한 용량 한계를 시사한다.
• 재구성 기반 학습은 적대적 최적화 없이 GAN과 유사한 특성을 달성할 수 있지만 더 큰 데이터세트에서 전체 데이터 분포를 커버하는 것은 어려울 수 있다.