[論文レビュー] Training Deep Energy-Based Models with f-Divergence Minimization

Lantao Yu, Yang Song+2 more|arXiv (Cornell University)|Mar 6, 2020

Generative Adversarial Networks and Image Synthesis参考文献 46被引用数 11

ひとこと要約

本稿では、KL発散に限らず任意のf発散を用いて深層エネルギーベースモデル（EBM）の学習を可能にする変分フレームワーク、f-EBMを提案する。理論的収束保証を伴う1ステップ最小最大化最適化として定式化することで、特にジェンセン・シャノン発散や二乗ヘルンギング発散といった発散を用いた場合、対照的勾配法よりも優れたサンプル品質と頑健性を達成した。

ABSTRACT

Deep energy-based models (EBMs) are very flexible in distribution parametrization but computationally challenging because of the intractable partition function. They are typically trained via maximum likelihood, using contrastive divergence to approximate the gradient of the KL divergence between data and model distribution. While KL divergence has many desirable properties, other f-divergences have shown advantages in training implicit density generative models such as generative adversarial networks. In this paper, we propose a general variational framework termed f-EBM to train EBMs using any desired f-divergence. We introduce a corresponding optimization algorithm and prove its local convergence property with non-linear dynamical systems theory. Experimental results demonstrate the superiority of f-EBM over contrastive divergence, as well as the benefits of training EBMs using f-divergences other than KL.

研究の動機と目的

• 訓練の際、エネルギーベースモデル（EBM）をKL発散のみで行うという制限を克服し、モードカバレッジとサンプル品質における柔軟性を向上させること。
• 任意のf発散を用いたEBMの学習を可能にする汎用的で変分的なフレームワークを構築すること。
• 非線形力学的システム理論を用いて、提案された最適化アルゴリズムの理論的収束保証を提供すること。
• 従来の対照的勾配法と比較して、ジェンセン・シャノン発散、二乗ヘルンギング発散、逆KL発散といった代替f発散が、画像生成および再構成タスクにおいて実用的利点を示すことを実証すること。

提案手法

• f-EBMを提案する。これは、データ分布とモデル分布間のf発散最小化を、最小最大化最適化問題として定式化する変分フレームワークである。
• エネルギー関数と変分関数の二重目的を導入し、1ステップの勾配更新を用いてf発散を近似する。
• 1ステップ最小最大化最適化戦略を採用し、エネルギー関数と変分関数を同時に更新することで、学習中に反復的なMCMCサンプリングを回避する。
• 推論および学習中にランジュバンダイナミクスを用い、生成の安定化のためリプレイバッファを導入する。
• 学習の安定性と一般化性能を向上させるために、スペクトル正規化とL2正則化を適用する。
• 非線形力学的システム理論を用いて、最適化軌道の安定性を理論的に証明し、局所収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 KL発散以外のf発散を、正規化されていないエネルギーベースモデルの学習に効果的に用いることは可能か？
• RQ2 提案されたf-EBMフレームワークは、対照的勾配法と比較して、より優れたサンプル品質と分布カバレッジを実現できるか？
• RQ3 f-EBMで学習された密度比は、画像補完やノイズ除去といった下流タスクの性能向上に寄与できるか？
• RQ4 f-EBM最適化アルゴリズムの理論的収束挙動はいかなるものか？
• RQ5 モデルの不適合状態下で、ジェンセン・シャノン発散や二乗ヘルンギング発散といった異なるf発散が、画像生成におけるモデル性能にどのように影響を与えるか？

主な発見

• CIFAR-10およびCelebAにおける評価で、f-EBMは対照的勾配法を上回るサンプル品質を達成し、視覚的なサンプルがシャープネスと多様性の面で向上している。
• ジェンセン・シャノン発散および二乗ヘルンギング発散を用いた学習は、補完およびノイズ除去タスクで顕著な改善をもたらし、逆KLおよびKLベースのベースラインを上回った。
• f-EBMで学習された密度比を用いることで、有効なリジェクトサンプリングが可能となり、モデルの不適合状態下でも真のデータ分布の回復が可能となった。これは、対照的勾配法では達成できない。
• f-EBMは50K～80Kイテレーションで収束し、対照的勾配法（75K）と同等の速度で、1イテレーションあたりの時間計算量も約2倍以内の水準であった。
• 中間のランジュバンダイナミクスサンプルでは、f-EBM下で生成軌道が滑らかで一貫性があり、特に二乗ヘルンギング発散およびジェンセン・シャノン発散を用いた場合顕著であった。
• 最近傍分析により、f-EBMが生成した画像はKLベースのモデルと比較して、実際の訓練画像により近いことが確認され、分布の整合性が向上していることが示された。