[논문 리뷰] Latent Constraints: Learning to Generate Conditionally from Unconditional Generative Models

Jesse Engel, Matthew Hoffman외 1명|arXiv (Cornell University)|2017. 11. 15.

Generative Adversarial Networks and Image Synthesis인용 수 29

한 줄 요약

이 논문은 사전 훈련된 비조건부 생성 모델—특히 VAE를 대상으로 하여 잠재 공간 내에서 원하는 속성에 해당하는 영역을 식별하는 비평가 함수 형태의 잠재 제약을 학습함으로써 조건부 생성을 가능하게 하는 방법을 제안한다. 경사 기반 최적화 또는 암시적 액터를 통해 잠재 코드를 최적화함으로써, 재현성 있고 다양한 샘플을 생성하면서도 정체성을 유지하고 재훈련 없이도 제로샷 조건부 제어를 가능하게 한다.

ABSTRACT

Deep generative neural networks have proven effective at both conditional and unconditional modeling of complex data distributions. Conditional generation enables interactive control, but creating new controls often requires expensive retraining. In this paper, we develop a method to condition generation without retraining the model. By post-hoc learning latent constraints, value functions that identify regions in latent space that generate outputs with desired attributes, we can conditionally sample from these regions with gradient-based optimization or amortized actor functions. Combining attribute constraints with a universal "realism" constraint, which enforces similarity to the data distribution, we generate realistic conditional images from an unconditional variational autoencoder. Further, using gradient-based optimization, we demonstrate identity-preserving transformations that make the minimal adjustment in latent space to modify the attributes of an image. Finally, with discrete sequences of musical notes, we demonstrate zero-shot conditional generation, learning latent constraints in the absence of labeled data or a differentiable reward function. Code with dedicated cloud instance has been made publicly available (https://goo.gl/STGMGx).

연구 동기 및 목표

• 재훈련 없이 사전 훈련된 비조건부 생성 모델에서 조건부 생성을 가능하게 한다.
• 오직 잠재 공간 제약만을 사용하여 특정 속성을 가진 현실적이고 다양한 샘플을 생성하는 데 도전한다.
• 원본 입력에서의 최소한의 잠재 공간 변형을 통해 이미지 속성 수정 시 정체성을 유지한다.
• 라벨 없이도 기반 보상 함수가 필요 없는 규칙 기반 제약을 사용하여 이산 시퀀스(예: 음악)에 대해 제로샷 조건부 생성을 가능하게 한다.
• 일반적인 현실성 제약을 통해 속성 전용 제약의 학습을 기초 데이터 분포에서 분리한다.

제안 방법

• 재구성 품질을 우선시하여 훈련된 VAE를 통해 인코딩된 데이터 포인트가 진짜 데이터 다양체에 가까워지도록 보장한다.
• 속성 제약($D_{\text{attr}}$)과 현실성($D_{\text{realism}}$)을 위한 두 개의 비평가 함수를 학습하며, 둘 다 진짜 데이터 잠재값과 사전 분포 또는 변형된 샘플을 구분하도록 훈련한다.
• 경사 기반 최적화를 통해 잠재 코드를 $D_{\text{attr}}$와 $D_{\text{realism}}$를 모두 만족하는 영역으로 이동시키며, 원본 입력에서의 변형을 최소화한다.
• 잠재 코드가 두 제약 조건을 모두 만족하도록 하는 암시적 액터 함수 $G(z)$를 훈련하여 효율적인 샘플링을 가능하게 한다.
• 이산 시퀀스에 대한 제로샷 생성을 위해 규칙 기반 제약을 사용하고, 라벨 없이도 기반 보상 함수 없이 액터-비평가 쌍을 훈련한다.
• 속성과 현실성 제약을 공동 최적화를 통해 통합하여 생성 샘플이 모두 속성에 부합하고 시각적으로 현실적인지 보장한다.

실험 결과

연구 질문

• RQ1 재훈련 없이 사전 훈련된 비조건부 VAE에서 조건부 생성을 달성할 수 있는가?
• RQ2 잠재 공간 변형을 최소화하면서 속성 제약 조건을 만족함으로써 정체성을 유지하는 이미지 변환을 달성할 수 있는가?
• RQ3 라벨 없이도 기반 보상 함수가 필요 없는 조건부 생성을 이산 시퀀스(예: 음악)에 대해 제로샷으로 수행할 수 있는가?
• RQ4 일반적인 현실성 제약은 재구성 정밀도를 훼손하지 않으면서도 잠재 공간 내 샘플 품질과 다양성을 어떻게 향상시킬 수 있는가?
• RQ5 경사 기반 최적화와 암시적 액터 함수가 다양한 데이터 모odalities에서 다중 잠재 제약을 효과적으로 동시에 강제로 적용할 수 있는가?

주요 결과

• 이 방법은 잠재 코드를 속성 제약과 현실성 제약를 모두 만족하도록 최적화하여 사전 훈련된 VAE에서 현실적이고 다양한 조건부 이미지를 성공적으로 생성했다.
• 정체성을 유지하는 변환은 매우 작은 잠재 공간 조정으로 달성되었으며, 표정이나 머리카락과 같은 속성을 수정한 경우에도 시각적 정체성이 유지되었다.
• 음악 생성의 경우, 오직 음정 제약만 최적화했을 때 C 메이저 스케일 제약을 70.8%의 비율로 만족했으며, 잠재 공간의 이동도 매우 미미했다.
• 음정과 조밀도 제약을 동시에 적용했을 때, 약간 더 큰 잠재 공간 이동이 있었지만 여전히 매우 미미했고, 높은 제약 만족 비율을 달성했다.
• 현실성 제약은 재구성 정밀도를 떨어뜨리지 않으면서도 샘플 품질을 크게 향상시켰으며, 낮은 가능도 분산을 보이는 표준 VAE를 능가했다.
• 라벨 없이도 규칙 기반 제약만을 사용하여 이산 시퀀스에 대해 제로샷 조건부 생성을 가능하게 했으며, 지도 학습 설정을 초월한 일반화 능력을 입증했다.