[논문 리뷰] Inverting The Generator Of A Generative Adversarial Network (II)

Antonia Creswell, Anil A. Bharath|arXiv (Cornell University)|2018. 02. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 16인용 수 24

한 줄 요약

이 논문은 사전 훈련된 GAN의 생성기 역행을 최적화 기반 방법으로 제안하며, 재구성 손실을 잠재 코드에 대한 경사 하강법을 통해 최소화함으로써 추가 인코더를 훈련하지 않고도 정성적 및 정량적 분석을 가능하게 한다. 주요 기여는 계산 그래프가 제공되는 모든 사전 훈련된 GAN에 적용 가능한 확장성 있고 과적합에 강인한 역행 기법으로, MNIST, CIFAR-10 및 Omniglot 데이터셋에서 검증되었으며 재구성 정밀도와 모델 비교 능력 향상이 확인되었다.

ABSTRACT

Generative adversarial networks (GANs) learn a deep generative model that is able to synthesise novel, high-dimensional data samples. New data samples are synthesised by passing latent samples, drawn from a chosen prior distribution, through the generative model. Once trained, the latent space exhibits interesting properties, that may be useful for down stream tasks such as classification or retrieval. Unfortunately, GANs do not offer an "inverse model", a mapping from data space back to latent space, making it difficult to infer a latent representation for a given data sample. In this paper, we introduce a technique, inversion, to project data samples, specifically images, to the latent space using a pre-trained GAN. Using our proposed inversion technique, we are able to identify which attributes of a dataset a trained GAN is able to model and quantify GAN performance, based on a reconstruction loss. We demonstrate how our proposed inversion technique may be used to quantitatively compare performance of various GAN models trained on three image datasets. We provide code for all of our experiments, https://github.com/ToniCreswell/InvertingGAN.

연구 동기 및 목표

• 훈련된 GAN에서 데이터 공간에서 잠재 공간으로의 역매핑이 부족하여 해석 가능성과 후속 응용이 제한되는 문제를 해결하기 위해.
• 추가 훈련이나 별도의 인코더 네트워크 없이도 사전 훈련된 GAN 생성기의 역행을 가능하게 하는 방법을 개발하기 위해.
• 재구성 오차를 사용하여 과적합 및 속성 모델링을 포함한 GAN 성능 평가를 위한 진단 도구를 제공하기 위해.
• 다양한 GAN 아키텍처와 훈련 방식 간의 정성적 및 정량적 비교를 가능하게 하기 위해.

제안 방법

• 이 방법은 역행을 최소화 문제로 공식화한다: 목표 이미지 $ x $ 와 생성기 출력 $ G(z^*) $ 간의 재구성 손실을 최소화하는 잠재 코드 $ z^* $ 를 찾는다. 이때 이진 교차 엔트로피 손실을 사용한다.
• 경사 하강법을 직접 잠재 코드 $ z $ 에 적용하며, 사전 훈련된 생성기의 계산 그래프를 사용하고, $ G $ 를 통해 역전파하여 $ z $ 를 갱신한다.
• 병렬 처리를 통해 다수의 이미지를 동시에 처리함으로써 배치 추론으로 확장하여 효율성을 향상시킨다.
• 인코더 네트워크를 훈련하지 않기 때문에 과적합에 강인하며, 계산 그래프에 접근 가능한 모든 사전 훈련된 GAN에 적용 가능하다.
• 반복 최적화 루프(알고리즘 1)를 통해 역행 과정을 구현하며, 무작위 $ z $ 로 시작하여 재구성 오차를 최소화하기 위해 경사 단계로 $ z $ 를 갱신한다.
• 재구성 오차는 원본 이미지와 생성기 출력 간의 평균 제곱 오차(MSE)로 측정되며, 정량적 모델 비교에 사용된다.

실험 결과

연구 질문

• RQ1 추가 인코더 훈련 없이도 주어진 이미지에 대해 의미 있는 잠재 코드를 회복할 수 있는가?
• RQ2 역행 과정의 재구성 오차는 GAN의 품질과 일반화 능력을 어떻게 반영하는가?
• RQ3 얼마나 깊이까지 역행이 GAN이 학습한 속성을 드러내는가?
• RQ4 역행을 통해 다양한 GAN 아키텍처와 훈련 방식 간의 정량적 비교가 가능한가?
• RQ5 해상도 및 훈련 수정(예: WGAN 대 일반 GAN에 노이즈 추가)에 따라 역행 성능는 어떻게 변화하는가?

주요 결과

• 제안된 역행 방법은 고정밀도로 이미지를 재구성하여, 생성기의 계산 그래프만을 사용해도 실제 이미지에 대한 의미 있는 잠재 코드를 복원할 수 있음을 입증하였다.
• 고해상도 이미지로 훈련한 GAN에서 재구성 오차가 약 두 배 감소하여 세밀한 세부 사항을 더 잘 포착함을 나타내었다.
• Omniglot 데이터셋에서 WGAN 모델이 일반 GAN에 비해 더 낮은 평균 제곱 오차(MSE)를 기록하여 과적합이 적음을 시사하였다.
• 저해상도 이미지로 훈련한 GAN은 전체적인 형태는 유지되더라도 손글씨 문자의 획과 같은 세밀한 세부 사항을 재구성하지 못함을 확인하였다.
• 역행 과정을 통해 일부 GAN이 특정 속성(예: 자동차의 색상)을 모델링하지 못함을 밝혀내어 모델의 한계에 대한 정성적 통찰을 제공하였다.
• 재구성 오차를 기반으로 객관적이고 정량적인 GAN 모델 비교가 가능해졌으며, 이는 WGAN와 같은 향상된 훈련 기법에 대한 이전 연구의 주장들을 뒷받침한다.