[論文レビュー] Controllable and Compositional Generation with Latent-Space Energy-Based Models

Weili Nie, Arash Vahdat+1 more|arXiv (Cornell University)|Oct 21, 2021

Generative Adversarial Networks and Image Synthesis被引用数 19

ひとこと要約

本稿では、StyleGANなどの事前学習済み生成モデルの潜在空間においてエネルギーに基づくモデルを用いた、制御可能で構成的な生成を実現する手法LACE（Latent-space Compositional Energy-based model）を提案する。属性条件付きエネルギー関数をモデル化する分類器を学習し、適応的ODEソルバーを用いたサンプリングにより、1024×1024解像度で未学習の属性組み合わせのゼロショット構成が可能な高速で安定的かつ高品質な画像生成を実現する。

ABSTRACT

Controllable generation is one of the key requirements for successful adoption of deep generative models in real-world applications, but it still remains as a great challenge. In particular, the compositional ability to generate novel concept combinations is out of reach for most current models. In this work, we use energy-based models (EBMs) to handle compositional generation over a set of attributes. To make them scalable to high-resolution image generation, we introduce an EBM in the latent space of a pre-trained generative model such as StyleGAN. We propose a novel EBM formulation representing the joint distribution of data and attributes together, and we show how sampling from it is formulated as solving an ordinary differential equation (ODE). Given a pre-trained generator, all we need for controllable generation is to train an attribute classifier. Sampling with ODEs is done efficiently in the latent space and is robust to hyperparameters. Thus, our method is simple, fast to train, and efficient to sample. Experimental results show that our method outperforms the state-of-the-art in both conditional sampling and sequential editing. In compositional generation, our method excels at zero-shot generation of unseen attribute combinations. Also, by composing energy functions with logical operators, this work is the first to achieve such compositionality in generating photo-realistic images of resolution 1024x1024. Code is available at https://github.com/NVlabs/LACE.

研究の動機と目的

• 深層生成モデルにおける構成的生成の課題に取り組むこと、特に新しい属性の組み合わせを生成することが困難である点に焦点を当てる。
• 条件付きGANや潜在方向手法の限界を克服すること、これらは未学習の属性組み合わせに対応できず、再訓練を要する点に起因する。
• 事前学習済みジェネレータを用いて、効率的かつ高解像度（1024×1024）の画像生成を制御可能に実現すること。
• ピクセル空間におけるランジエビン・ダイナミクスの代わりに、潜在空間におけるODEソルバーを活用することで、安定的かつ高速なサンプリングを実現すること。
• 論理演算子（例：AND、OR）を用いてエネルギー関数を合成することで、写真的リアリズムを持つ複雑な新しい属性組み合わせの画像生成を可能にすること。

提案手法

• 事前学習済みジェネレータ（例：StyleGAN）の潜在空間において、データ分布は暗黙的であり、属性分布は分類器によってモデル化される、連合エネルギーに基づくモデル（EBM）を定式化する。
• 再パラメータライゼーションのテクニックを用いて、潜在空間におけるEBMエネルギー関数を表現し、既知の事前分布（標準正規分布）に変換することで、学習を分類器の学習に限定する。
• 逆拡散プロセスから導出された確率的フローODEを用いてEBMからサンプリングし、適応的ステップサイズを用いることで、効率的で安定的なサンプリングを実現する。
• ODEソルバー（例：dopri5）をサンプリングに活用することで、従来のランジエビン・ダイナミクスに比べ、ハイパーパramータに対してより安定で感受性が低い。
• 論理演算子（例：AND、OR）を用いて複数のエネルギー関数を合成することで、複雑な属性組み合わせを持つ画像の構成的生成を可能にする。
• 属性分類器をデータ空間で学習し、すべてのサンプリングを潜在空間で実行することで、高効率性と高解像度画像へのスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み生成モデルを用いて、未学習の属性組み合わせのゼロショット構成が可能な制御可能画像生成を達成できるか？
• RQ2 潜在空間におけるODEソルバーによるサンプリングは、従来のランジエビン・ダイナミクスに比べ、速度、安定性、画像品質の面で優れているか？
• RQ3 異なる属性のエネルギー関数を論理演算を用いて合成することで、新しい実在性のある画像設定を生成できるか？
• RQ4 本手法は、条件付きサンプリングおよび逐次編集タスクにおいて、最先端のベースラインと比較してどのように優れているか？
• RQ5 本手法は、複雑な属性制御を伴う高解像度（1024×1024）の写真的リアリズム画像生成にどの程度一般化可能か？

主な発見

• LACEはFFHQデータセットにおいて、StyleFlowに比べ25倍の高速化を達成し、顕著な効率性向上を示した。
• CIFAR-10において、LACEのサンプリングはピクセル空間EBMおよびスコアベースモデルに比べ、それぞれ最低49倍および876倍高速であり、1バッチ64枚あたりの推論時間は0.50秒であった。
• CIFAR-10において、LACEはFID 6.63および属性一貫性スコア（ACC）0.972を達成し、LACE-LDおよび他のベースラインを上回った。
• LACEは、希少な顔貌属性の組み合わせなど、未学習の属性組み合わせのゼロショット生成を、高い視覚的忠実度で実現した。
• ODEベースのサンプリングはハイパーパramータに強く頑健である：絶対誤差（atol）および相対誤差（rtol）を小さく設定しても一貫して高品質なサンプルが得られ、逆にランジエビン・ダイナミクスではACC-FIDのトレードオフに苦しむ。
• 単純なEuler法でさえ、LACEは妥当な性能（FID 5.36–6.31）を維持しており、異なる数値的ソルバーに対してもODE定式化の安定性が確認された。