[論文レビュー] Explaining the effects of non-convergent sampling in the training of Energy-Based Models

Elisabeth Agoritsas, Giovanni Catania+2 more|arXiv (Cornell University)|Jan 23, 2023

Generative Adversarial Networks and Image Synthesis参考文献 48被引用数 6

ひとこと要約

この論文は、収束しない短時間のマルコフ連鎖モンテカルロ（MCMC）サンプリングを用いて訓練されたエネルギーに基づくモデル（EBM）が、なぜ高品質なサンプルを生成できるかを、第一原理的な解析的説明を提供する。EBMは訓練プロセスの動的記憶を符号化しており、生成時に訓練時と同じMCMCステップ数とランダム初期化が使用された場合に最適なサンプル品質が得られることを示している。これは、EBMを拡散モデルに似せたものに変換していることになる。

ABSTRACT

In this paper, we quantify the impact of using non-convergent Markov chains to train Energy-Based models (EBMs). In particular, we show analytically that EBMs trained with non-persistent short runs to estimate the gradient can perfectly reproduce a set of empirical statistics of the data, not at the level of the equilibrium measure, but through a precise dynamical process. Our results provide a first-principles explanation for the observations of recent works proposing the strategy of using short runs starting from random initial conditions as an efficient way to generate high-quality samples in EBMs, and lay the groundwork for using EBMs as diffusion models. After explaining this effect in generic EBMs, we analyze two solvable models in which the effect of the non-convergent sampling in the trained parameters can be described in detail. Finally, we test these predictions numerically on a ConvNet EBM and a Boltzmann machine.

研究の動機と目的

• 収束しないMCMCサンプリングが標準的なMCMC収束仮定を満たさないにもかかわらず、エネルギーに基づくモデル（EBM）の訓練における実験的成果を説明すること。
• 短時間で非恒久的なMCMCチェーンを用いて訓練されたEBMが、平衡分布ではなく正確な動的プロセスを通じてデータ統計を再現できることを解析的に示すこと。
• 推論時のサンプリングステップ数と初期化が訓練時と正確に一致する場合に最適なサンプル生成が達成されることを示すこと。
• 解釈的応用においてそのモデルの限界を明確にすること。なぜなら、その平衡測度は正しくデータ統計を表さないからである。
• 訓練のダイナミクスと生成性能を結びつけることで、EBMを拡散モデルとして使用する理論的基盤を確立すること。

提案手法

• 収束しないMCMCサンプリング下でのEBM訓練ダイナミクスの固定点挙動を解析的に導出し、実験的統計が平衡ではなく動的プロセスを通じて一致することを示す。
• モーメントマッチングの議論を用いて、訓練時の短時間MCMC実行がモデルに特定の動的経路をインプリントすることを形式化する。
• 解析的に解ける2つのモデル（ガウスモデルと2次元鉄磁性イジング模型）を用い、非収束サンプリングが学習パラメータと統計に与える影響を記述する。
• ConvNet EBMおよびボルツマンマシンにおいて数値的検証を実施し、さまざまなMCMC実行長さにおけるサンプル品質と統計的整合性を比較する。
• 2点相関関数、4次相関関数、相対エントロピー（gzip）、共分散行列の固有値誤差を用いて統計的整合性を評価する。
• 訓練時のMCMCステップ数（k）と推論時のステップ数（k'）を変化させ、最適なk' = k領域を特定する。

実験結果

リサーチクエスチョン

• RQ1 収束しないMCMCサンプリングを用いて訓練されたEBMが、平衡サンプリングが欠如しているにもかかわらず、なぜ高品質なサンプルを生成できるのか？
• RQ2 非収束MCMC訓練がEBMにおける正確な統計再現を可能にする、正確な動的メカニズムは何か？
• RQ3 EBMの生成サンプルの性能は、訓練時および推論時に使用されたMCMCステップ数にどのように依存するか？
• RQ4 短時間で非恒久的なMCMCチェーンを用いて訓練されたEBMは、効果的に拡散モデルとして使用できるか？
• RQ5 高品質なサンプルが得られるにもかかわらず、このようなEBMの平衡分布が真のデータ統計を正しく表現しないのはなぜか？

主な発見

• 収束しないMCMCサンプリングで訓練されたEBMは、平衡測度ではなく、訓練中にインプリントされた正確な動的プロセスを通じてデータ統計を再現する。
• 推論時のMCMCステップ数が訓練時と正確に一致する場合（k' = k）に最高品質のサンプルが生成され、kの絶対値にかかわらず成立する。
• k=1の訓練でも高品質なサンプルが得られ、最適なサンプル品質（k'=k）は訓練時のk値に依存しない。ガウスモデルおよびイジング模型の両方の実験で確認された。
• k'=kにおけるサンプル品質のピークは、訓練の進行に従って徐々に現れ、学習が進むにつれてこの点に動的整合が達成される。
• 高品質なサンプルが得られるにもかかわらず、訓練済みEBMの平衡分布は、正しくデータ統計を記述しない。特に混合時間が長い多次元または低次元データセットでは顕著である。
• モデルの性能はさまざまな観測量に対して頑健である。2点相関関数、4次相関関数、相対エントロピーはすべてk'=kで最適となり、この効果の一般性を確認する。