[논문 리뷰] Controlling generative models with continuous factors of variations

Antoine Plumerault, Hervé Le Borgne외 1명|arXiv (Cornell University)|2020. 01. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 43인용 수 79

한 줄 요약

이 논문은 라벨 없이 연속적인 이미지 변화를 인코딩하는 해석 가능한 잠재 공간 방향을 발견하는 방법을 도입한다. 이로써 GAN 및 VAE에서 생성 제어를 정밀하게 가능하게 한다.

ABSTRACT

Recent deep generative models are able to provide photo-realistic images as well as visual or textual content embeddings useful to address various tasks of computer vision and natural language processing. Their usefulness is nevertheless often limited by the lack of control over the generative process or the poor understanding of the learned representation. To overcome these major issues, very recent work has shown the interest of studying the semantics of the latent space of generative models. In this paper, we propose to advance on the interpretability of the latent space of generative models by introducing a new method to find meaningful directions in the latent space of any generative model along which we can move to control precisely specific properties of the generated image like the position or scale of the object in the image. Our method does not require human annotations and is particularly well suited for the search of directions encoding simple transformations of the generated image, such as translation, zoom or color variations. We demonstrate the effectiveness of our method qualitatively and quantitatively, both for GANs and variational auto-encoders.

연구 동기 및 목표

• controllable generative models and interpretable latent representations.
• 라벨이나 인코더가 필요 없이 연속 변동 요인에 대응하는 잠재 공간 방향을 찾는 방법 제안.
• 잠재 공간 방향으로 움직이는 것이 객체의 위치와 크기 같은 이미지 속성을 정밀하게 제어할 수 있음을 보임.
• 제너레이터를 역으로 추정하고 잠재 궤적을 추정하기 위한 재구성 손실 및 최적화 전략 제시.
• 해리(disentanglement)가 제어 가능성에 미치는 영향 조사 및 모델 간 잠재 공간 구조 밝힘.

제안 방법

• G:Z->I 정의하고 연속 변환 T의 매개변수 t에 대해 G(z_T) ≈ T_T(I)인 z_T를 찾는다.
• 재구성 손실 L 사용하여 L(G(z), T(I))를 최소화하고 z의 노름 제약 ||z|| ≤ sqrt(d) 유지.
• 질감 보존 손실 L(I1,I2) = ||F{I1−I2}F{σ}||^2 제안하여 역전성 샤프니스를 개선.
• T_T를 작은 단계로 분해하고 이전 z를 초기화로 하여 순차적으로 z_n을 최적화하여 잠재 궤적을 따라가는 알고리즘 1.
• 변동인자를 t = f(z) = g(<z,u>)로 인코딩하고 ||u||=1, 지연된 매개변수 변화 δt를 예측하도록 g_theta를 학습하여 인자 모델의 파라메트릭 모델 가능.
• 미지의 t를 다루기 위해 δt(= 변화) 예측 학습하고 제안된 방정식(6)과 g_theta를 통해 요인 분포를 포착하는 맵핑 학습.
• 원한다면 z를 샘플링하여 학습된 g_theta와 선택된 대상 분포를 사용해 생성 결과의 분포를 형성.

실험 결과

연구 질문

• RQ1 라벨이나 인코더 없이 연속 변동 요인(예: 위치, 크기)을 잠재 공간 방향으로 포착할 수 있는가?
• RQ2 이러한 잠재 방향으로 이동하여 객체의 평행 이동과 스케일링을 생성 이미지에서 얼마나 정확하게 제어할 수 있는가?
• RQ3 재구성 손실은 제너레이터 역전과 최적화 중 질감 보존에 어떤 도움을 주는가?
• RQ4 잠재 공간의 disentanglement가 생성 제어 가능성에 어떤 영향을 미치는가?
• RQ5 다수의 객체 카테고리 간에 식별된 방향이 공유되는가? (예: BigGAN 카테고리나 VAEs 간에)

주요 결과

• 잠재 공간 방향이 수평/수직 이동 및 스케일에 해당하는 방향이 BigGAN 및 β-VAE 설정에서 생성 이미지의 정밀 제어를 가능하게 한다.
• 공간 요인에 대한 방향은 대개 BigGAN 잠재 코드의 초기 부분에 인코딩되어 있으며; 수직 위치는 상위 블록에서 더 강하게 관여하는 경향이 있어 배경 상관관계 때문일 수.
• disentangled representations (β-VAEs에서 높은 β) improves controllability, reducing the standard deviation of the controlled factor.
• 고주파 구성 요소를 무시하는 새로운 재구성 손실은 픽셀 단위 MSE보다 더 선명한 역전과 더 현실적인 재구성을 제공.
• 제안된 궤도 기반 최적화는 인코더 기반 역전이나 추가 학습을 필요로 하지 않으며 기존 제너레이터에 직접 적용 가능.
• 변동 요인에 대한 일반적인 방향은 여러 객체 카테고리에서 공유되는 경향이 있어 범주 비의존 잠재 구조를 시사.