[論文レビュー] Guiding Energy-based Models via Contrastive Latent Variables

Hankook Lee, Jongheon Jeong+2 more|arXiv (Cornell University)|Mar 6, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、対照的表現学習（CRL）を潜在変数として用いることで、エネルギーに基づくモデル（EBM）の訓練を効率化するフレームワーク、対照的潜在誘導エネルギー学習（CLEL）を提案する。球面の潜在変数を用いたEBMと対照的エンコーダーを同時に訓練することで、VAE や拡散モデルを用いる既存のEBM手法と比較して、より高速かつメモリ効率が良く、最先端のFIDスコアを達成する。

ABSTRACT

An energy-based model (EBM) is a popular generative framework that offers both explicit density and architectural flexibility, but training them is difficult since it is often unstable and time-consuming. In recent years, various training techniques have been developed, e.g., better divergence measures or stabilization in MCMC sampling, but there often exists a large gap between EBMs and other generative frameworks like GANs in terms of generation quality. In this paper, we propose a novel and effective framework for improving EBMs via contrastive representation learning (CRL). To be specific, we consider representations learned by contrastive methods as the true underlying latent variable. This contrastive latent variable could guide EBMs to understand the data structure better, so it can improve and accelerate EBM training significantly. To enable the joint training of EBM and CRL, we also design a new class of latent-variable EBMs for learning the joint density of data and the contrastive latent variable. Our experimental results demonstrate that our scheme achieves lower FID scores, compared to prior-art EBM methods (e.g., additionally using variational autoencoders or diffusion techniques), even with significantly faster and more memory-efficient training. We also show conditional and compositional generation abilities of our latent-variable EBMs as their additional benefits, even without explicit conditional training. The code is available at https://github.com/hankook/CLEL.

研究の動機と目的

• エネルギーに基づくモデル（EBM）における長年の訓練不安定性と収束遅延の課題に取り組む。
• GAN や拡散モデルなどの最先端の生成モデルと同等の生成品質をEBMで達成する。
• VAE や拡散モデルなどの追加生成モデルを必要とせず、低コストの自己教師あり表現学習（CRL）を活用してEBMの訓練を誘導する。
• EBMと対照的エンコーダーの効率的で整合性のある共同訓練を可能にするとともに、EBMの明示的密度性を維持する。
• 対照的表現が、EBMにおける構造的データモデリングの有効な潜在変数として機能できることを示す。

提案手法

• 対照的表現 $ \mathbf{z} \in \mathbb{S}^{d-1} $ を用いた球面の潜在変数EBMを導入し、同時分布 $ p_{\theta}(\mathbf{x}, \mathbf{z}) $ をモデル化する。
• インスタンスレベルの対照的学習（例：SimCLR）を用いて、意味的で正規化された潜在コード $ \mathbf{z} \in \mathbb{S}^{d-1} $ を生成する対照的エンコーダー $ h_{\phi} $ を訓練する。
• 停止勾配操作を用いて、対照的学習の目的関数とEBMの訓練を分離し、共同最適化を可能にする。
• EBMの訓練と対照的学習を統合した共同訓練目的関数を設計し、対照的損失を用いてEBMがより良いデータ構造理解に向かうように誘導する。
• EBMのエネルギー出力を、対照的学習と互換性のある潜在空間にマップするためのプロジェクションヘッド $ g_{\theta} $ を導入する。
• 潜在変数 $ \mathbf{z} $ が単位球面に正規化されるようにし、標準的なCRLの目的関数と整合させ、訓練の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 対照的表現学習は、EBMの訓練を誘導する有効な潜在変数として機能できるか？
• RQ2 標準的なEBM訓練と比較して、対照的特徴を用いることでEBMのサンプル品質と訓練効率が向上するか？
• RQ3 VAE や拡散モデルのような高コストな補助モデルに依存せずに、提案フレームワークが競争力のあるFIDスコアを達成できるか？
• RQ4 エンコーダーに異なる対照的学習手法（例：SimCLR, BYOL, MAE）を用いた場合、フレームワークの頑健性はどの程度か？
• RQ5 明示的な条件付き学習なしで、学習された潜在変数EBMがどの程度の条件付きおよび構成的生成を可能にするか？

主な発見

• CLELはCIFAR-10でFIDスコア35.73を達成し、ベースラインEBM（42.46）および先行のSOTA EBM手法を大きく上回った。
• ベースラインと比較してFIDを16.4%低減し、VAE や拡散モデルを強化に用いたEBM手法よりも優れた性能を示した。
• 本フレームワークは、BYOL（FID: 36.31）やMAE（FID: 37.67）を含む、複数の自己教師あり表現学習手法と互換性があり、広範な適用性を示した。
• 対照的潜在変数により、明示的な条件付き学習なしでゼロショットの条件付きおよび構成的生成が可能となり、分離表現学習の有効性を示した。
• OOD検出性能も高く（AUC: 0.8723）、学習されたEBMが意味のあるデータ分布と不確実性を適切に捉えていることを示した。
• アブレーションスタディにより、MLPプロジェクションヘッドと負例サンプリング分布 $ p_{\theta}(\tilde{\mathbf{z}}) $ が性能に不可欠であることが確認され、アイデンティティヘッドを用いると著しく性能が低下（FID: 86.02）した。