[논문 리뷰] Conditional Autoencoders with Adversarial Information Factorization

Antonia Creswell, Anil A. Bharath외 1명|arXiv (Cornell University)|2017. 11. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 20

한 줄 요약

이 논문은 재구성과 속성 분류에 각각 연속적(재구성) 및 이산적(속성 분류) 성분으로 분리되는 잠재공간을 분리하는 적대적 정보 인과 분해를 갖춘 조건부 오토인코더를 제안한다. 적대적 손실과 보조 레이블을 사용하여 훈련함으로써, 모델은 높은 품질의 재구성과 함께 생성된 이미지에서 정밀한 속성 편집을 가능하게 한다.

ABSTRACT

Generative models, such as variational auto-encoders (VAE) and generative adversarial networks (GAN), have been immensely successful in approximating image statistics in computer vision. VAEs are useful for unsupervised feature learning, while GANs alleviate supervision by penalizing inaccurate samples using an adversarial game. In order to utilize benefits of these two approaches, we combine the VAE under an adversarial setup with auxiliary label information. We show that factorizing the latent space to separate the information needed for reconstruction (a continuous space) from the information needed for image attribute classification (a discrete space), enables the capability to edit specific attributes of an image.

연구 동기 및 목표

• 비지도 특징 학습을 위한 VAE의 강점과 고품질 샘플 생성을 위한 GAN의 강점을 융합하기 위해.
• 재구성과 속성 분류를 위한 별도의 성분으로 잠재공간을 분리하기 위해.
• 분리된 잠재 인자들을 통해 특정 속성을 편집함으로써 제어 가능한 이미지 생성을 가능하게 하기 위해.
• 보조 레이블 정보를 활용하여 분리도를 향상시키고 생성 품질을 향상시키기 위해.

제안 방법

• 샘플 품질을 향상시키기 위해 변동형 오토인코더와 적대적 판별자를 통합한다.
• 잠재공간을 이미지 재구성용 연속적 성분과 속성 분류용 이산적 성분으로 분해한다.
• 잠재 인자의 분리도를 이끄는 데 보조 레이블 감독을 사용한다.
• 비현실적인 샘플을 방지하기 위해 적대적 훈련을 적용하여 생성 정밀도를 향상시킨다.
• 재구성 손실, 적대적 손실, 분류 손실을 통합한 공동 목표 함수를 사용하여 모델을 종단 간 훈련한다.

실험 결과

연구 질문

• RQ1 적대적 훈련은 조건부 VAE 프레임워크에서 이미지 생성 품질을 향상시킬 수 있는가?
• RQ2 잠재공간을 연속적 및 이산적 성분으로 분리하면 더 나은 속성 제어가 가능한가?
• RQ3 보조 레이블 정보는 분리도와 생성 성능을 향상시킬 수 있는가?
• RQ4 분리된 잠재 인자들을 사용하여 특정 이미지 속성을 어느 정도 편집할 수 있는가?

주요 결과

• 잠재공간에서 재구성과 관련된 정보를 분리함으로써 높은 품질의 이미지 재구성 성능을 달성한다.
• 분리된 잠재 인자들은 다른 특징에 영향을 주지 않고 특정 이미지 속성만 정밀하게 편집할 수 있도록 한다.
• 보조 레이블의 사용은 분리도를 향상시키고 생성 샘플의 품질을 향상시킨다.
• 적대적 훈련은 기존의 VAE에 비해 더 현실적인 이미지 생성을 가능하게 한다.