[論文レビュー] Generalized Energy Based Models

Michael Arbel, Zhou Liang+1 more|arXiv (Cornell University)|Mar 10, 2020

Generative Adversarial Networks and Image Synthesis参考文献 87被引用数 4

ひとこと要約

この論文では、一般化エネルギー確率モデル（GEBMs）を紹介している。GEBMsは、生成器などの暗黙的ベース分布と、データサポート多様体上での確率密度を精緻化する学習可能なエネルギー関数を組み合わせる。エネルギー関数の学習（KALEと呼ばれる一般化尤度損失を用いて）とベースの学習を交互に繰り返すことで、同等の複雑さのGANよりも優れたサンプル品質を達成する。特に、データが低次元多様体上に存在する場合に顕著である。

ABSTRACT

We introduce the Generalized Energy Based Model (GEBM) for generative modelling. These models combine two trained components: a base distribution (generally an implicit model), which can learn the support of data with low intrinsic dimension in a high dimensional space; and an energy function, to refine the probability mass on the learned support. Both the energy function and base jointly constitute the final model, unlike GANs, which retain only the base distribution (the "generator"). GEBMs are trained by alternating between learning the energy and the base. We show that both training stages are well-defined: the energy is learned by maximising a generalized likelihood, and the resulting energy-based loss provides informative gradients for learning the base. Samples from the posterior on the latent space of the trained model can be obtained via MCMC, thus finding regions in this space that produce better quality samples. Empirically, the GEBM samples on image-generation tasks are of much better quality than those from the learned generator alone, indicating that all else being equal, the GEBM will outperform a GAN of the same complexity. When using normalizing flows as base measures, GEBMs succeed on density modelling tasks, returning comparable performance to direct maximum likelihood of the same networks.

研究の動機と目的

• GANがデータサポートを学習しても、低次元多様体上での確率密度の精緻化に限界を示すという問題を解決する。
• エネルギー確率モデルにおける正規化定数の非可解性を克服し、扱いやすくアモルタイズドされた尤度推定法を導入する。
• ベース生成器の潜在空間における事後分布にエネルギー関数を組み込むことで、より優れたサンプリング品質を実現する。
• GEBMsが、より複雑な生成器を用いたGANですら、低次元データ設定において優れていることを実証する。

提案手法

• 2成分モデルを提案：データサポートを学習する暗黙的ベース分布（例：生成器）と、その上での確率密度を精緻化するエネルギー関数。
• エネルギー関数を、Donsker-VaradhanおよびFenchel双対性に基づいて導出されたKALE（KL近似下界推定）損失を用いて一般化尤度最大化により学習する。
• KALE損失をベース生成器の学習信号として用い、明確な勾配と弱収束の保証を確保する。
• 交互最適化を実行：エネルギー関数を固定ステップ数分更新した後、現在のエネルギー関数を用いてベース生成器を更新する。
• GEBMからのサンプリングには、ベース生成器の潜在空間でMCMCを実行し、学習済みエネルギー関数が高品質なサンプルに向けた事後分布をガイドする。
• Eberleら（2017年）に基づく勾配ベースMCMCサンプラーを活用し、潜在空間での収束を高速化する。

実験結果

リサーチクエスチョン

• RQ1 同じモデル複雑度の下で、暗黙的ベースと学習可能なエネルギー関数を組み合わせたモデルが、標準GANを上回るサンプル品質を達成できるか？
• RQ2 KALE損失が、共同学習システムにおけるエネルギー関数とベース成分の両方に対して安定かつ情報豊富な学習信号を提供できるか？
• RQ3 エネルギー関数が、ベース生成器の潜在空間における事後分布をどのようにガイドすることで、サンプリング品質を向上させるか？
• RQ4 ベース生成器のモデル複雑度が、GANとGEBMsの性能差にどの程度影響を与えるか？
• RQ5 ベースが正規化フローである場合、GEBMsが直接最大尤度推定と同等の密度推定性能を達成できるか？

主な発見

• GEBMsは、同じ複雑度のGANですら、常に優れたサンプル品質を達成する。特に、GANの生成器がより複雑であっても同様である。
• GANの生成器がより表現力を持つようになるにつれて、GANとGEBMsの性能差が縮小する。これは、エネルギー関数が残存する分布的差を捉えていることを示唆する。
• より単純なベース生成器を用いたGEBMsが、より複雑な生成器を用いたGANを上回る。これは、エネルギー関数がより効果的な精緻化メカニズムを提供していることを示す。
• 正規化フローをベースとして使用した場合、GEBMsは同じネットワーク上で直接最大尤度推定を実行した場合と同等の密度推定性能を達成する。
• KALE損失は、ベース生成器に対して明確な勾配を提供し、適切な条件下で弱収束を保証する。
• 学習済みエネルギー関数でガイドされた潜在空間におけるMCMCサンプリングは、高品質なサンプルを生成する領域を的確に特定でき、生成品質を向上させる。