[논문 리뷰] Pioneer Networks: Progressively Growing Generative Autoencoder

Ari Heljakka, Arno Solin외 1명|arXiv (Cornell University)|2018. 07. 09.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 별도의 GAN 판별기 없이 128×128 해상도에서 최신 기술 수준의 이미지 재구성 및 합성 성능을 달성하는 점진적 생성 오토인코더인 PIONEER를 소개한다. 통합된 인코더-생성기 프레임워크 내에서 점진적 성장과 적대적 손실 및 재구성 손실을 결합함으로써, 고해상도 이미지 재구성, 부드러운 잠복공간 보간, 스펙트럼 정규화를 사용한 단일 안정된 학습 목표로 고품질 생성이 가능해진다.

ABSTRACT

We introduce a novel generative autoencoder network model that learns to encode and reconstruct images with high quality and resolution, and supports smooth random sampling from the latent space of the encoder. Generative adversarial networks (GANs) are known for their ability to simulate random high-quality images, but they cannot reconstruct existing images. Previous works have attempted to extend GANs to support such inference but, so far, have not delivered satisfactory high-quality results. Instead, we propose the Progressively Growing Generative Autoencoder (PIONEER) network which achieves high-quality reconstruction with $128{ imes}128$ images without requiring a GAN discriminator. We merge recent techniques for progressively building up the parts of the network with the recently introduced adversarial encoder-generator network. The ability to reconstruct input images is crucial in many real-world applications, and allows for precise intelligent manipulation of existing images. We show promising results in image synthesis and inference, with state-of-the-art results in CelebA inference tasks.

연구 동기 및 목표

• 고품질 생성에도 불구하고 기존 이미지를 재구성할 수 없는 GAN의 추론 능력 부족 문제를 해결한다.
• ProgGAN과 같은 최신 기술 수준의 GAN에 뒤지지 않는 인지적 품질을 달성하지 못하는 변분 오토인코더(VAEs) 및 GAN-VAE 하이브리드의 한계를 극복한다.
• 고해상도 이미지 재구성과 부드러운 잠복공간에서의 고품질 샘플링을 모두 지원하는 통합된 생성 오토인코더를 개발한다.
• 인코더 및 생성기 네트워크의 점진적 학습을 통해 학습 안정성 향상과 고해상도에서의 성능 향상을 달성한다.
• 통합된 오토인코더 프레임워크에서 적대적 학습을 사용할 경우 별도의 판별기 없이도 고품질 이미지 생성 및 재구성을 달성할 수 있음을 입증한다.

제안 방법

• 저해상도 특징에서 시작하여 점차 레이어를 추가하는 방식으로 인코더 및 생성기 네트워크에 대한 점진적 성장 학습 스케줄을 제안한다.
• 이미지 공간에서의 재구성 손실(L2)과 생성기 출력을 진짜 데이터로 사용하는 잠복공간에서의 적대적 손실을 결합한 손실을 사용하여 인코더와 생성기를 함께 학습한다.
• 학습 안정화와 모드 붕괴 방지를 위해 스펙트럼 정규화를 적용하여 별도의 판별기 네트워크가 필요 없도록 한다.
• 추론(실제 이미지 인코딩)과 생성(잠복공간에서 샘플링)에 동일한 잠복공간을 사용함으로써 부드러운 보간이 가능해진다.
• 클래스 레이블을 사용하지 않고 CelebA 및 CelebA-HQ와 같은 데이터셋에서 완전히 비지도 학습 방식으로 모델을 학습한다.
• 고정된 아키텍처와 최소한의 하이퍼파라미터 튜닝을 통해 학습 과정을 최적화하며, 해상도 단계별로 에포크 수만 조정한다.

실험 결과

연구 질문

• RQ1 별도의 GAN 판별기가 없이도 128×128 해상도에서 고품질 이미지 재구성 및 합성을 달성할 수 있는가?
• RQ2 기존 오토인코더와 비교해 인코더와 생성기 양쪽에 점진적 성장을 적용하면 학습 안정성과 재구성 품질이 향상되는가?
• RQ3 모델은 미리보지 않은 이미지 쌍 간의 잠복공간에서 부드러운 보간을 지원할 수 있는가? 이는 분리된 연속적인 표현을 의미한다.
• RQ4 고해상도에서 FID와 재구성 품질 측면에서 제안된 모델의 성능은 최신 기술 수준의 GAN 및 오토인코더 모델과 비교해 어떻게 되는가?
• RQ5 통합된 오토인코더 환경에서 스펙트럼 정규화만으로도 학습을 안정화시키고 별도의 판별기가 필요 없도록 할 수 있는가?

주요 결과

• PIONEER 모델은 128×128 해상도에서 CelebA 데이터셋에서 기존 오토인코더 기반 방법들보다 최신 기술 수준의 이미지 재구성 품질을 달성한다.
• 질적 비교를 통해 입력 이미지와 가장 유사한 훈련 세트 매칭 결과와의 밀도 높은 일치를 보이며, 날카운 세부 정보를 갖춘 고해상도 이미지 재구성을 제공한다.
• 128×128 해상도에서 LSUN 침실 데이터셋에서 프레셰 이너스 인ception 거리(FID)가 37.50으로 측정되어, 완전히 비지도 학습 방식임에도 불구하고 뛰어난 생성 품질을 입증한다.
• 미리보지 않은 테스트 이미지의 잠복벡터 간에 부드러운 보간이 가능하여, 명시적 지도 학습 없이도 연속적이고 분리된 잠복공간 표현을 나타낸다.
• 256×256 해상도에서 고품질이고 다양한 샘플을 생성할 수 있으며, 이는 128×128를 초월한 확장 가능성(스케일러빌리티)을 보여주지만, 본 연구에서는 이러한 해상도에서의 학습이 완전히 완료되지 않았다.
• 단일 통합 손실과 스펙트럼 정규화를 사용함으로써 별도의 판별기를 갖지 않은 간단한 아키텍처로도 최신 기술 수준의 순수 생성 모델과 경쟁 가능한 성능을 달성한다.