[논문 리뷰] Inverting The Generator Of A Generative Adversarial Network

Antonia Creswell, Anil A. Bharath|arXiv (Cornell University)|2016. 11. 17.

Generative Adversarial Networks and Image Synthesis인용 수 13

한 줄 요약

이 논문은 사전에 훈련된 GAN의 생성기 역할을 하기 위해 이미지를 재구성하기 위해 잠재 코드 $ z $ 를 경사 하강법으로 최적화하는 방법을 제안한다. 이는 생성기의 계산 그래프를 사용하며, MNIST에서는 정체성과 스타일을 잘 유지하고, 미리 보지 않은 Omniglot 문자를 0-샷으로 잠재 공간에 투영할 수 있다. 이는 정규화 없이도 뛰어난 재구성 품질을 보이며 성공한다.

ABSTRACT

Generative adversarial networks (GANs) learn to synthesise new samples from a high-dimensional distribution by passing samples drawn from a latent space through a generative network. When the high-dimensional distribution describes images of a particular data set, the network should learn to generate visually similar image samples for latent variables that are close to each other in the latent space. For tasks such as image retrieval and image classification, it may be useful to exploit the arrangement of the latent space by projecting images into it, and using this as a representation for discriminative tasks. GANs often consist of multiple layers of non-linear computations, making them very difficult to invert. This paper introduces techniques for projecting image samples into the latent space using any pre-trained GAN, provided that the computational graph is available. We evaluate these techniques on both MNIST digits and Omniglot handwritten characters. In the case of MNIST digits, we show that projections into the latent space maintain information about the style and the identity of the digit. In the case of Omniglot characters, we show that even characters from alphabets that have not been seen during training may be projected well into the latent space; this suggests that this approach may have applications in one-shot learning.

연구 동기 및 목표

• 재훈련 없이 사전에 훈련된 GAN 생성기를 역전환하여 이미지를 그에 해당하는 잠재 공간 표현으로 매핑하는 것을 목적으로 한다.
• 기존 방법이 이러한 특성을 유지하지 못하는 데 비해, 역전환 과정에서 손글씨 숫자의 정체성과 스타일을 유지하는 것을 목적으로 한다.
• 새로운 알파벳에서 유래한 문자 클래스(예: 미리 보지 않은 알파벳)가 잠재 공간에 투영될 수 있음을 보여주어 일회 학습(one-shot learning) 잠재력을 입증하는 것을 목적으로 한다.
• 고품질의 역전환을 위해 정규화가 필수적인지 여부를 확인하며, 기존 GAN에 더 넓은 적용 가능성을 제공하는 것을 목적으로 한다.

제안 방법

• 생성기의 재구성 손실 $ L = -\text{cross-entropy}(x, G(z)) $ 를 최소화하기 위해 $ z $ 에 대해 경사 하강법을 사용한다.
• 잠재 변수 $ z $ 를 사전 분포 $ P_z(Z) $ 에서 샘플링하여 초기화한 후, $ z^* \text{←} z^* - \alpha \nabla_z L $ 를 반복적으로 갱신한다.
• 생성기의 계산 그래프를 통해 $ z $ 에 대한 기울기를 계산하여 엔드 투 엔드 최적화를 가능하게 한다.
• 배치 정규화를 처리하기 위해 단일 샘플 역전환에 실패할 경우, 이미지 배치를 함께 역전환한다.
• 안정성을 향상시키기 위해 클리핑 및 정규화를 선택적으로 적용하지만, 실험 결과 이는 필수 조건이 아님을 확인했다.
• 계산 효율성을 높이고 배치 정규화가 적용된 GAN과의 호환성을 확보하기 위해 배치 역전환을 지원한다.

실험 결과

연구 질문

• RQ1 재훈련 없이 사전에 훈련된 GAN 생성기를 역전환하여 주어진 이미지 $ x $ 에 대해 의미 있는 잠재 코드 $ z $ 를 회복할 수 있는가?
• RQ2 제안된 역전환 방법은 MNIST의 손글씨 숫자 정체성과 스타일을 유지하는가?
• RQ3 이 방법은 Omniglot에서 새로운 알파벳의 문자에 대해 일반화 가능한가? 이는 일회 학습 잠재력의 가능성을 시사하는가?
• RQ4 고품질의 역전환을 위해 정규화가 필수적인가, 아니면 직접 최적화만으로도 충분한가?
• RQ5 배치 정규화는 역전환의 가능성과 구현에 어떤 영향을 미치는가?

주요 결과

• MNIST에서 제안된 역전환 방법은 숫자의 정체성과 글쓰기 스타일을 잘 유지하며, 이전 방법이 이러한 특성을 유지하지 못했던 데 비해 뛰어난 성능을 보였다.
• MNIST에서 재구성 오차는 0.027(균일한 사전 분포, 클리핑 또는 정규화 없음)에 이르렀으며, 이는 높은 정밀도를 의미한다.
• Omniglot에서는 정규화 없이도 재구성 오차가 0.020에 도달했으며, 이는 새로운 알파벳에서 유래한 문자에 대해서도 성공을 의미한다.
• 결과적으로 정규화가 역전환 성능 향상에 기여하지 않으며, 필수 조건이 아니라는 점을 확인하여, 이 방법이 강건하고 일반화 가능함을 시사한다.
• 배치 역전환은 가능하고 효율적이며, 특히 단일 샘플 역전환이 불안정한 배치 정규화가 적용된 GAN에서는 더욱 유용하다.
• 잠재 공간은 정체성과 스타일을 모두 인코딩하고 있으며, 이 방법은 새로운 문자 클래스의 0-샷 투영을 가능하게 하여, 일회 학습 응용 분야 잠재력을 뒷받침한다.