[논문 리뷰] Image Generation and Editing with Variational Info Generative AdversarialNetworks

Mahesh Gorijala, Ambedkar Dukkipati|arXiv (Cornell University)|2017. 01. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 4인용 수 8

한 줄 요약

이 논문은 변분 오토에인코더(VAEs)와 InfoGAN을 결합하여 이미지와 그 시각적 설명을 함께 모델링하는 생성 모델인 Variational InfoGAN(ViGAN)을 제안한다. 분리된 해석 가능한 잠재 코드를 가진 추론 네트워크를 통합함으로써 ViGAN은 조건부 이미지 생성과 속성 기반 이미지 편집을 가능하게 하며, VAE보다 더 선명한 샘플을 생성하고 표준 GAN보다 더 분리된 표현을 제공한다.

ABSTRACT

Recently there has been an enormous interest in generative models for images in deep learning. In pursuit of this, Generative Adversarial Networks (GAN) and Variational Auto-Encoder (VAE) have surfaced as two most prominent and popular models. While VAEs tend to produce excellent reconstructions but blurry samples, GANs generate sharp but slightly distorted images. In this paper we propose a new model called Variational InfoGAN (ViGAN). Our aim is two fold: (i) To generated new images conditioned on visual descriptions, and (ii) modify the image, by fixing the latent representation of image and varying the visual description. We evaluate our model on Labeled Faces in the Wild (LFW), celebA and a modified version of MNIST datasets and demonstrate the ability of our model to generate new images as well as to modify a given image by changing attributes.

연구 동기 및 목표

• 이미지와 시각적 설명 표현을 함께 학습하여 더 나은 분리성과 해석 가능성 확보를 위한 생성 모델 개발
• 시각적 설명이나 속성에 조건을 두어 조건부 이미지 생성 가능하게 하기
• 기존 이미지의 특정 속성만 수정하면서 다른 콘텐츠를 유지하는 이미지 편집 허용
• VAE의 재구성 능력과 GAN의 샘플 품질을 결합하여 양자 모두의 한계를 극복
• 생성 모델과 함께 추론 네트워크를 동시 학습시켜 사후 분포 추정과 생성의 엔드 투 엔드 학습 가능하게 하기

제안 방법

• VAE와 InfoGAN을 융합한 하이브리드 아키텍처 도입. 잠재 변수의 부분집합(c)을 사용해 분리된 해석 가능한 속성을 표현
• 이미지 입력 x에 대해 사후 분포 q(z|x)를 추론하기 위한 인코더 네트워크를 사용. 생성자 및 판별자와 함께 엔드 투 엔드 학습 가능
• 분리된 잠재 코드 c와 생성된 이미지 x 사이의 상호정보량 최적화를 통해 의미 있는 속성 분리 유도
• VAE 재구성 손실, KL 발산, GAN의 적대적 손실, 속성별 인식 손실을 조합한 공동 손실 함수를 통한 모델 학습
• 다중 헤드 인식 헤드를 적용해 잠재 코드에서 시각적 속성을 예측. 추론 시 속성 편집 가능
• Adam 옵timizer를 사용. 생성자, 판별자, 인코더, 인식기 각각 별도의 학습률 설정. 재구성과 속성 민감도 균형을 맞추기 위해 하이퍼파ram터 λ₁과 λ₂ 사용

실험 결과

연구 질문

• RQ1 생성 모델이 이미지 속성의 분리된 표현을 함께 학습하고 현실적인 조건부 이미지를 생성할 수 있는가?
• RQ2 특정 속성만 수정하면서 다른 콘텐츠를 유지하는 의미 있는 이미지 편집이 가능한가?
• RQ3 VAE와 InfoGAN을 융합함으로써 단독 VAE나 GAN보다 샘플 품질과 분리성 향상이 이루어지는가?
• RQ4 생성자 및 판별자와 함께 추론 네트워크를 엔드 투 엔드로 학습시킬 경우 더 나은 사후 근사 및 생성 성능를 달성할 수 있는가?
• RQ5 모델의 편집 능력은 하이퍼파ram터, 특히 λ₁과 λ₂의 선택에 얼마나 민감한가?

주요 결과

• ViGAN은 VAE 샘플이 흐릿한 경향이 있는 것과는 달리 더 선명하고 현실적인 이미지를 효과적으로 생성한다.
• 모델은 효과적인 속성 기반 이미지 편집을 보여주며, MNIST의 숫자 레이블 변경, CelebA에서 안경 추가, LFW에서 표정 수정 시 공간적 구조를 유지한다.
• MNIST, CelebA, LFW에서의 재구성 결과는 모델이 높은 정밀도를 유지함을 보이며, 인코더가 입력 이미지에서 잠재 코드를 정확히 추론함을 확인한다.
• 표준 GAN보다 더 나은 속성 분리 성능를 보이며, 의도한 속성만 변화하는 제어된 편집 결과로 이를 입증한다.
• 이미지 편집 성능는 하이퍼파ram터 λ₁과 λ₂에 매우 민감하며, 재구성 정확도와 속성 민감도를 균형 있게 유지하기 위해 신중한 튜닝이 필요하다.
• 정성적 비교 결과 ViGAN 샘플은 VAE나 GAN 단독 모델보다 더 현실적인 것으로 나타나, 두 모델의 강점을 성공적으로 융합한 것으로 확인된다.