[논문 리뷰] Invertible Conditional GANs for image editing

Guim Perarnau, Joost van de Weijer외 2명|arXiv (Cornell University)|2016. 11. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 12인용 수 584

한 줄 요약

IcGAN은 인코더와 조건부 GAN을 결합하여 실제 이미지를 잠재 공간으로 매핑하고 조건 속성으로 편집함으로써 결정론적이고 복합적인 이미지 수정을 가능하게 한다.

ABSTRACT

Generative Adversarial Networks (GANs) have recently demonstrated to successfully approximate complex data distributions. A relevant extension of this model is conditional GANs (cGANs), where the introduction of external information allows to determine specific representations of the generated images. In this work, we evaluate encoders to inverse the mapping of a cGAN, i.e., mapping a real image into a latent space and a conditional representation. This allows, for example, to reconstruct and modify real images of faces conditioning on arbitrary attributes. Additionally, we evaluate the design of cGANs. The combination of an encoder with a cGAN, which we call Invertible cGAN (IcGAN), enables to re-generate real images with deterministic complex modifications.

연구 동기 및 목표

• 추론(인코더)과 조건부 이미지 생성을 결합하여 복합 이미지 편집을 동기 부여하고 가능하게 한다.
• 실제 이미지를 제어 가능한 편집을 위해 잠재 공간 z와 조건 y 공간으로 매핑하는 방법을 학습한다.
• GAN 아키텍처에서 인코더 설계와 조건 정보의 배치를 평가한다.
• MNIST와 CelebA 데이터셋에서 편집을 시연하고 재구성 품질과 속성 제어를 분석한다.

제안 방법

• IcGAN을 도입하고 인코더를 cGAN과 통합하여 (z, y) = E(x) 를 얻고 이미지 x' = G(z, y) 를 재구성한다.
• 두 부분으로 E를 학습한다: G(z, y′) 출력으로부터 잠재 z를 복구하는 Ez와 실제 이미지에서 속성 y를 복구하는 Ey.
• 설계된 인코더(SNG, IND, IND-COND)를 조사하고 IND를 가장 효과적인 것으로 확인한다.
• cGAN의 두 가지 설계 결정: 생성기의 입력에 위치한 조건 벡터 y의 최적 위치와 판별기의 첫 번째 층에서의 위치, 그리고 py에서 y′를 샘플링하는 방법을 탐구한다.
• 생성된 이미지가 조건화된 속성을 얼마나 잘 반영하는지 측정하기 위해 속성 예측기(Anet)를 사용하여 cGAN 조건화를 평가한다.
• 재구성 품질과 속성 조작을 검증하기 위해 CelebA와 MNIST 데이터셋을 사용한다.

실험 결과

연구 질문

• RQ1 실제 이미지에서 잠재 및 속성 표현을 복구하기 위해 조건부 GAN을 역변환하도록 인코더를 학습시킬 수 있는가?
• RQ2 특성 충실도를 최대화하기 위해 조건 정보 y를 생성기와 판별기에 통합하는 최적의 전략은 무엇인가?
• RQ3 어떤 인코더 아키텍처(SNG, IND, IND-COND)가 가장 정확한 잠재 및 속성 재구성을 제공하는가?
• RQ4 IcGAN은 실제 이미지를 얼마나 잘 재구성하고 MNIST 및 CelebA에서 속성의 제어된 수정이 얼마나 잘 가능한가?
• RQ5 잠재 z를 보간하거나 속성 y를 교환하는 것이 그럴듯하고 매끄러운 이미지 간 전이를 만들어내는가?

주요 결과

모델	평균 정확도 (판별기)	평균 F1-점수 (판별기)	평균 정확도 (생성기)	평균 F1-점수 (생성기)
CelebA 테스트 세트	92.78%	71.47%	92.78%	71.47%
$y$ 입력에 삽입	85.74%	49.63%	89.83%	59.69%
레이어 1에 y 삽입	86.01%	52.42%	87.16%	52.40%
레이어 2	84.90%	50.00%	82.49%	52.36%
레이어 3	85.96%	52.38%	82.49%	38.01%
레이어 4	77.61%	19.49%	73.90%	4.03%

• IcGAN은 실제 이미지를 잠재 z와 속성 y로 매핑할 수 있게 하여 재구성과 복합 속성 기반 편집을 가능하게 한다.
• 최적의 속성 충실도를 얻기 위한 cGAN 조건 부여 위치는 y를 생성기의 입력에 삽입하고 판별기의 첫 번째 층에 삽입하는 것이다.
• z와 y에 대한 두 개의 독립적인 인코더(IND)가 테스트된 구성 중 가장 낮은 재구성 오차를 제공한다.
• y 조건화가 있는 생성 CelebA 이미지에 대한 속성 예측 정확도는 속성 평균 정확도 기준으로 약 86%에 도달하며, 네트워크 초기에 y를 조건화할수록 충실도가 더 높다.
• IcGAN 재구성은 고수준 특징을 보존하고 CelebA와 MNIST에서 의미 있는 속성 편집을 가능하게 하며, 실제 이미지 간의 매끄러운 보간 및 속성 전달을 제공한다.
• 재구성된 샘플은 모델이 학습 데이터 외부로 일반화됨을 보여주며, 보이지 않는 실제 이미지의 성공적인 조작으로 확인된다.