[論文レビュー] Latent Constraints: Learning to Generate Conditionally from Unconditional Generative Models

Jesse Engel, Matthew Hoffman+1 more|arXiv (Cornell University)|Nov 15, 2017

Generative Adversarial Networks and Image Synthesis被引用数 29

ひとこと要約

本論文では、事前学習済みの非条件付き生成モデル（特にVAE）に対して、望ましい属性に対応する潜在空間内の領域を特定する critic 関数としての潜在制約を学習することで、条件付き生成を可能にする手法を提案する。勾配ベースの最適化またはアモアタイズドアクターを用いて潜在コードを最適化することで、再現性が高く多様なサンプルを生成しつつ、アイデンティティを保持し、微調整なしにゼロショットの条件付き制御を実現する。

ABSTRACT

Deep generative neural networks have proven effective at both conditional and unconditional modeling of complex data distributions. Conditional generation enables interactive control, but creating new controls often requires expensive retraining. In this paper, we develop a method to condition generation without retraining the model. By post-hoc learning latent constraints, value functions that identify regions in latent space that generate outputs with desired attributes, we can conditionally sample from these regions with gradient-based optimization or amortized actor functions. Combining attribute constraints with a universal "realism" constraint, which enforces similarity to the data distribution, we generate realistic conditional images from an unconditional variational autoencoder. Further, using gradient-based optimization, we demonstrate identity-preserving transformations that make the minimal adjustment in latent space to modify the attributes of an image. Finally, with discrete sequences of musical notes, we demonstrate zero-shot conditional generation, learning latent constraints in the absence of labeled data or a differentiable reward function. Code with dedicated cloud instance has been made publicly available (https://goo.gl/STGMGx).

研究の動機と目的

• 微調整なしに、事前学習済みの非条件付き生成モデルからの条件付き生成を可能にすること。
• 潜在空間の制約のみを用いて、特定の属性を持つ現実的で多様なサンプルを生成する課題に対処すること。
• 潜在空間の摂動を最小限に抑えることで、画像の属性変更時におけるアイデンティティの保持を実現すること。
• ラベル付きデータや微分可能報酬関数なしに、ルールベースの制約を用いて離散的系列（例：音楽）に対するゼロショット条件付き生成を可能にすること。
• 普遍的な再現性制約を介して、属性固有の制約の学習を元のデータ分布から分離すること。

提案手法

• 再構成品質を最優先にVAEを学習し、符号化されたデータポイントが真のデータ多様体に近くなるように保証する。
• 属性制約（$D_{\text{attr}}$）と再現性（$D_{\text{realism}}$）の2つの critic 関数を学習し、両者ともに真のデータの潜在変数と事前分布または変換されたサンプルを区別するように訓練する。
• 勾配ベースの最適化を用いて潜在コードを、$D_{\text{attr}}$ と $D_{\text{realism}}$ の両方を満たす領域へとシフトさせ、元の入力からの摂動を最小限に抑える。
• アモアタイズドアクター関数 $G(z)$ を訓練し、事前分布からのサンプルを両制約を満たす潜在コードへマップすることで、効率的なサンプリングを可能にする。
• 離散的系列（例：音楽）におけるゼロショット生成のため、ラベルなしでルールベースの制約を用い、アクター・クリティックペアを訓練する。
• 属性制約と再現性制約を統合最適化により組み合わせ、生成されたサンプルが両方の制約を満たし、かつ知覚的に現実的であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 微調整なしに、事前学習済みの非条件付きVAE上で条件付き生成が可能になるか？
• RQ2 潜在空間の摂動を最小限に抑えつつ属性制約を満たすことで、アイデンティティを保つ画像変換が実現できるか？
• RQ3 ラベル付きデータや微分可能報酬関数なしに、離散的系列（例：音楽）に対してゼロショット条件付き生成が可能になるか？
• RQ4 普遍的な再現性制約は、再構成忠実度を損なわずに、潜在空間におけるサンプルの質と多様性をどのように向上させるか？
• RQ5 勾配ベースの最適化とアモアタイズドアクター関数は、異なるデータモダリティにわたり、複数の潜在制約を効果的に同時に強制できるか？

主な発見

• 本手法は、潜在コードを属性制約と再現性制約の両方を満たすように最適化することで、事前学習済みVAEから現実的で多様な条件付き画像を効果的に生成した。
• 潜在空間の摂動を最小限に抑えながらアイデンティティを保つ変換が達成され、表情や髪型の変更でさえも知覚的なアイデンティティを維持した。
• 音楽生成の文脈では、ピッチ制約のみ最適化した場合、Cメジャー・スケール制約を70.8％の確率で満たしたが、潜在空間のシフトは最小限であった。
• ピッチと密度の両方の制約を適用した場合、わずかに大きなが、依然として最小限の潜在空間シフトで高い満足度を達成した。
• 再現性制約は再構成忠実度を損なわずにサンプルの質を著しく向上させ、標準VAEよりも尤度分散が低く、優れた性能を示した。
• 本手法は、ラベルなしのルールベースの制約のみを用いて、監視学習の枠組みを超えて一般化を示し、離散的系列におけるゼロショット条件付き生成を可能にした。