[논문 리뷰] Precise Recovery of Latent Vectors from Generative Adversarial Networks

Zachary C. Lipton, Subarna Tripathi|arXiv (Cornell University)|2017. 02. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 5인용 수 94

한 줄 요약

본 논문은 확률적 클리핑을 갖춘 그래디언트 기반 역변환 방법을 제시하여 GAN으로부터 잠재 벡터를 임의로 높은 정밀도로 복원하고, 노이즈에 강하며, 보지 못한 이미지에서도 고유한 것으로 보인다.

ABSTRACT

Generative adversarial networks (GANs) transform latent vectors into visually plausible images. It is generally thought that the original GAN formulation gives no out-of-the-box method to reverse the mapping, projecting images back into latent space. We introduce a simple, gradient-based technique called stochastic clipping. In experiments, for images generated by the GAN, we precisely recover their latent vector pre-images 100% of the time. Additional experiments demonstrate that this method is robust to noise. Finally, we show that even for unseen images, our method appears to recover unique encodings.

연구 동기 및 목표

• 실제로 GAN 생성기가 임의의 정밀도로 역변환될 수 있음을 입증한다.
• 추가된 노이즈에 대한 재구성의 강인성을 보인다.
• 미공개 이미지에 대해 회수된 잠재 인코딩이 고유한지 조사한다.

제안 방법

• 잠재 공간에서 ||phi(z) - phi(z')||^2를 최소화하도록 최적화를 정의한다.
• 이미지 공간 재구성 오차를 최소화하기 위해 감소하는 학습률로 z'를 업데이트하기 위해 경사 하강법을 사용한다.
• 잠재 제약을 [-1,1]로 클리핑으로 강제하고 경계에 갇힌 해를 피하기 위해 확률적 클리핑을 도입한다.
• 재구성 정확도에서 표준 클리핑, 비클립핑, 및 확률적 클리핑을 비교한다.

실험 결과

연구 질문

• RQ1 그래디언트 기반 최적화가 재구성 오차를 제로로 만드는 원래의 잠재 벡터를 회복할 수 있는가?
• RQ2 주어진 이미지에 대해 여러 실험에서 회수된 잠재 벡터가 고유한가?
• RQ3 이미지에 추가된 노이즈에 대한 재구성이 얼마나 강인한가?

주요 결과

기법	10^-4	10^-3	10^-2	10^-1
No Clipping	0.98	0.986	0.998	1.0
Standard Clipping	0.984	0.99	1.0	1.0
Stochastic Clipping	1.0	1.0	1.0	1.0

• 확률적 클리핑은 모든 테스트 임계값에서 100%의 정확한 재구성(|z - z'|^2/100 < epsilon)을 달성하며 1000번의 실험에서 일관되게 실현된다.
• 표준 클리핑 및 비클리핑도 높은 성능을 보이지만 확률적 클리핑은 임계값 전반에서 일관되게 정확하다.
• 가우시안 노이즈가 이미지에 추가되어도 재구성은 정확하게 유지되며, z-공간의 오차는 추가 노이즈에 비례해 증가한다.
• 미공개 이미지의 경우 회수된 인코딩은 무작위 잠재 벡터에 비해 서로 매우 가깝고, 인코딩의 거의 고유성을 시사한다.