[論文レビュー] Exponential Tilting of Generative Models: Improving Sample Quality by Training and Sampling from Latent Energy

Zhisheng Xiao, Qing Yan+1 more|arXiv (Cornell University)|Jun 15, 2020

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 4

ひとこと要約

本稿では、正規化流れやVAEなどの事前学習済み尤度ベース生成モデルにおけるサンプル品質を向上させる手法を提案する。この手法は、モデルの潜在空間上にエネルギーに基づくモデル（EBM）を訓練することで実現する。EBMは最尤推定により訓練され、潜在変数が改善され、その後ラングジュアン動力学を用いてサンプリングされ、元の生成器を介してデコードされることで、最小限の計算コストで高品質でシャープな画像が得られる。

ABSTRACT

In this paper, we present a general method that can improve the sample quality of pre-trained likelihood based generative models. Our method constructs an energy function on the latent variable space that yields an energy function on samples produced by the pre-trained generative model. The energy based model is efficiently trained by maximizing the data likelihood, and after training, new samples in the latent space are generated from the energy based model and passed through the generator to producing samples in observation space. We show that using our proposed method, we can greatly improve the sample quality of popular likelihood based generative models, such as normalizing flows and VAEs, with very little computational overhead.

研究の動機と目的

• ベースモデルの再訓練なしに、事前学習済み尤度ベース生成モデルのサンプル品質を向上させること。
• GANと比較して品質が低い傾向にある非敵対的モデル（VAE や正規化流れ）の限界を克服すること。
• 学習目的を変更するのではなく、サンプリングの改善によってサンプル品質を向上させる手法を開発すること。
• 事前学習済み生成器の構造を活用し、潜在EBMの効率的な訓練とサンプリングを可能にすること。
• エネルギーに基づくモデルと既存の尤度ベース生成モデルを結びつける汎用フレームワークを提供すること。

提案手法

• 事前学習済み生成モデルの指数的チルティングを構築する。新たな結合分布を $ p_{\phi^{*},\theta}(\mathbf{x}) = \frac{p_{\phi^{*}}(\mathbf{x}) \exp(-E_{\theta}(\mathbf{x}))}{Z_{\phi^{*},\theta}} $ として定義する。ここで $ E_{\theta}(\mathbf{x}) $ はデータ空間上のエネルギー関数である。
• エネルギー関数 $ E_{\theta}(\mathbf{x}) $ を、実データの尤度を最大化することで訓練する。勾配は $ \frac{\partial L(\theta)}{\partial\theta} = \mathbb{E}_{p_D}[\partial E_\theta / \partial\theta] - \mathbb{E}_{p_{\phi^{*},\theta}}[\partial E_\theta / \partial\theta] $ で与えられる。
• 潜在EBMからのサンプリングに確率的勾配ラングジュアン動力学（SGLD）を用いる。これは繰り返し、潜在変数を $ \mathbf{z}_{i+1} = \mathbf{z}_i - \frac{\epsilon}{2} \nabla_{\mathbf{z}} E_\theta(G_{\phi^*}(\mathbf{z})) + \sqrt{\epsilon} \mathbf{\omega} $ で更新する。ここで $ \mathbf{\omega} \sim \mathcal{N}(0,\mathbf{I}) $ である。
• 改善された潜在変数を事前学習済み生成器 $ G_{\phi^*}(\mathbf{z}) $ を介してデコードすることで、最終的なサンプルを生成する。これにより、サンプルの現実性とシャープネスが向上する。
• 正規化流れでは100～200ステップ、VAEでは最大1,000ステップで潜在EBMを訓練する。これにより、計算コストの増加は最小限に抑えられる。
• 実データと生成データを用いて、エンドツーエンドで学習可能な同じエネルギー関数アーキテクチャ（例：CNN）を $ E_{\theta}(\mathbf{x}) $ に使用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み尤度ベース生成モデルのベースモデルの再訓練なしに、サンプル品質を向上させることは可能か？
• RQ2 事前学習済み生成器の潜在空間上にエネルギーに基づくモデルを訓練することで、よりシャープで現実的であるサンプルが得られるか？
• RQ3 本手法は、学習目的を変更するか、GAN風の識別器ガイダンスを用いる既存手法と比較してどのように優れているか？
• RQ4 潜在EBMの訓練にかかる計算コストはどの程度で、サンプル品質の向上を実現しつつも最小限に抑えられるか？
• RQ5 本手法は、VAE、正規化流れ、およびそれらのハイブリッドなど、さまざまな尤度ベースモデルに一般化可能か？

主な発見

• MNIST、Fashion-MNIST、CIFAR-10の各データセットにおいて、提案手法は顕著にサンプル品質を向上させた。GLOWに潜在EBMを適用した場合、MNISTのFIDスコアは29.4から12.3に低下した。
• CIFAR-10では、GLOWのFIDスコアが潜在EBM適用後、76.2から67.8に改善され、ノイズが減少し、構造的忠実度が向上した。
• VAEでは、潜在EBMを適用したことでFIDスコアが18.9から16.0に低下し、元のVAEの学習目的を変更せずに良好なサンプル品質が達成された。
• FIDスコアの観点から、2段階VAEやフローよりも高い性能を示し、構造的潜在空間を維持したままである。
• 正規化流れでは100～200ステップ、VAEでは最大1,000ステップで潜在EBMを訓練したが、ピxls空間上でのEBM全訓練と比較して計算コストは著しく低かった。
• 定性的な結果では、潜在EBMによるサンプリングが、特にCIFAR-10のような複雑なデータセットにおいて、よりシャープで意味的に明確なサンプル、滑らかな輪郭、クリアな背景を生成していることが示された。