[論文レビュー] Learning Latent Space Energy-Based Prior Model

Bo Pang, Tian Han+3 more|arXiv (Cornell University)|Jun 15, 2020

Topic Modeling参考文献 84被引用数 4

ひとこと要約

本論文は、生成モデルの表現力を向上させるために、生成器ネットワークの潜在空間に表現力のある事前分布を学習する潜在空間エネルギーベース事前分布モデルを提案する。短時間MCMCサンプリングを用いた最大尤度推定により、エネルギーベース事前分布とトップダウン生成器を同時に学習することで、画像・テキスト生成および異常検出において最先端の性能を達成し、低次元の潜在空間において優れたサンプル品質と効率的な混合を示した。

ABSTRACT

We propose to learn energy-based model (EBM) in the latent space of a generator model, so that the EBM serves as a prior model that stands on the top-down network of the generator model. Both the latent space EBM and the top-down network can be learned jointly by maximum likelihood, which involves short-run MCMC sampling from both the prior and posterior distributions of the latent vector. Due to the low dimensionality of the latent space and the expressiveness of the top-down network, a simple EBM in latent space can capture regularities in the data effectively, and MCMC sampling in latent space is efficient and mixes well. We show that the learned model exhibits strong performances in terms of image and text generation and anomaly detection. The one-page code can be found in supplementary materials.

研究の動機と目的

• 生成器ネットワークの潜在空間に情報的な事前分布を学習することで、深層生成モデルの表現力を向上させること。
• 標準的なVAEにおける情報のない事前分布（例：等方的ガウス分布）の限界を克服し、エネルギーベースモデリングによるデータ駆動型事前分布を学習すること。
• エネルギーベース事前分布とトップダウン生成器の連合学習フレームワークを、MCMCサンプリングを用いた最大尤度推定によって開発すること。
• 潜在空間の低次元性を活かして、効率的かつ良好に混合するMCMCサンプリングを確保すること。
• 短時間MCMCに基づく理論的裏付けのある学習手法を提示し、推論ネットワークによるアンモタイゼーションへの応用可能性を示すこと。

提案手法

• 潜在事前分布をエネルギーベースモデル（EBM）として定式化し、小さな順方向ネットワークでパラメータ化された負のエネルギー関数を用いる：$ p_{\alpha}(z) = \frac{1}{Z(\alpha)} \exp(f_{\alpha}(z)) p_0(z) $、ここで $ p_0(z) $ は標準ガウス分布。
• データ分布へのマッピングを実行するトップダウン生成器ネットワーク $ g_{\beta}(z) $ を用い、$ p_{\beta}(x|z) $ はモダリティに応じてガウス分布または自己回帰モデルとして定義される。
• 短時間MCMCサンプリングを、事前分布および事後分布推論の両方の目的に用いる：固定初期分布からの固定ステップ数のサンプリングにより、$ p(z|x) $ および $ p_{\alpha}(z) $ を近似する。
• ラングジュアンダイナミクスを用い、ノイズと勾配ステップを適用して、事後分布および事前分布からのサンプリングを実行する：$ z_{t+1} = z_t - \frac{1}{2} a^2 (\nabla \log p(x|z) + \nabla f_{\alpha}(z) + \frac{1}{z}) + a \epsilon $。
• 短時間MCMCに基づく事前分布と事後分布サンプルの差分に基づいてEBMパラメータを更新し、再構成損失を用いて生成器パラメータを更新することで、連合最大尤度学習を実行する。
• 後続の研究で推論をアンモタイズ化するための学習済みネットワークを導入しているが、本研究の手法はアンモタイズーションを用いず、純粋に短時間MCMCに依存している。

実験結果

リサーチクエスチョン

• RQ1 生成モデルの潜在空間にエネルギーベース事前分布を学習することで、固定事前分布と比較して、サンプル品質およびモデル化能力が向上するか？
• RQ2 本フレームワークにおいて、低次元の潜在空間における短時間MCMCサンプリングは、事前分布および事後分布推論にどの程度有効か？
• RQ3 EBM事前分布とトップダウン生成器の連合最大尤度学習は、画像およびテキスト生成タスクにおいてより優れた性能を達成するか？
• RQ4 このモデルは異常検出タスクにどの程度一般化可能か？
• RQ5 短時間MCMC学習の理論的基盤は、ニューラルネットワークによるアンモタイズド推論へと拡張可能か？

主な発見

• 本モデルは画像生成において強く優れた性能を示し、60ステップの事後MCMCを用い、128チャネルの生成器を用いることでSVHNのFIDスコアが26.13に改善された。
• 事後分布推論の短時間MCMCステップ数を20から60に増加させることで、FIDは29.44から26.13に低下し、サンプル品質の向上が示された。
• モデルの複雑さを高める（例：EBMに200個の隠れユニット、生成器に128チャネル）と、FIDが26.95に改善され、能力に応じた表現力の向上が確認された。
• 固定ガウス事前分布と比較して、潜在空間EBM事前分布は顕著に優れた性能を示し、同等の設定下でFIDは32.25（ガウス事前分布）から26.95（学習済みEBM事前分布）に低下した。
• 本モデルはテキスト生成および異常検出においても競争力ある性能を示し、画像合成を超えた一般化能力を裏付けた。
• 理論的分析により、短時間MCMC学習はMLEの有効な摂動であることが確認され、本手法の理論的基盤が確立された。