[論文レビュー] A Variational Perspective on Diffusion-Based Generative Models and Score Matching

Chin-Wei Huang, Jae Hyun Lim+1 more|arXiv (Cornell University)|Jun 5, 2021

Generative Adversarial Networks and Image Synthesis参考文献 54被引用数 40

ひとこと要約

本論文は、拡散ベースの生成モデルと score matching のための連続時間の変分フレームワークを構築し、score matching を Feynman-Kac および Girsanov 理論を介して plug-in reverse SDE の尤度の下限に結びつける。

ABSTRACT

Discrete-time diffusion-based generative models and score matching methods have shown promising results in modeling high-dimensional image data. Recently, Song et al. (2021) show that diffusion processes that transform data into noise can be reversed via learning the score function, i.e. the gradient of the log-density of the perturbed data. They propose to plug the learned score function into an inverse formula to define a generative diffusion process. Despite the empirical success, a theoretical underpinning of this procedure is still lacking. In this work, we approach the (continuous-time) generative diffusion directly and derive a variational framework for likelihood estimation, which includes continuous-time normalizing flows as a special case, and can be seen as an infinitely deep variational autoencoder. Under this framework, we show that minimizing the score-matching loss is equivalent to maximizing a lower bound of the likelihood of the plug-in reverse SDE proposed by Song et al. (2021), bridging the theoretical gap.

研究の動機と目的

• 拡散モデルで使用される連続時間拡散過程の尤度推定を動機づけ、形式化する。
• 変分 ELBO フレームワークを介して score matching 損失と最大尤度を結びつける。
• score-matching 損失を最小化することが、plug-in reverse SDE の周辺尤度の下限を最大化することを示す。
• 結果を marginal-equivalent plug-in reverse SDE のファミリーへ一般化し、限界ケースとして等価な ODE を含む。

提案手法

• Feynman-Kac を用いて生成拡散の周辺密度を期待値で表現する変分フレームワークを導出する。
• Girsanov の測度変換を適用して潜在的な Brown 動 path を推定し、連続時間の ELBO (CT-ELBO) を得る。
• 生成 SDE と推論 SDE を再パラメータ化して score 関数との関連を明らかにする。
• 推論 SDE が周辺密度の score に一致する時 CT-ELBO がより Tight になることを証明する。
• CT-ELBO が離散時間の ELBO を無限深階層へ拡張し、無限深 VAE の視点と関連することを示す。
• 実装上のトレードオフ、バイアス・分散の考慮、実務的推定のためのデバイアス補正戦略を議論する。

実験結果

リサーチクエスチョン

• RQ1 score-matching 損失の最小化は plug-in reverse SDE のサンプリング挙動にどのような影響を与えるか？
• RQ2 連続時間拡散モデルの周辺尤度を一貫して推定できる変分 ELBO フレームワークは存在するか？
• RQ3 score matching と拡散ベース生成モデルにおける最大尤度の関係は何か？
• RQ4 plug-in reverse SDE は score matching によって最大化される連続的な ELBO を形成する連続体か？

主な発見

• 変分フレームワークは plug-in reverse SDE の周辺対数密度の下限を与える連続時間 ELBO を生み出す。
• score-matching 損失の最小化は plug-in reverse SDE の尤度の下限を最大化することに対応し、score matching と尤度推定を橋渡しする。
• このフレームワークは離散時間拡散モデルを無限深へ拡張し、無限深階層 VAE の観点と整合する。
• marginal-equivalent plug-in reverse SDE のファミリーが存在し、限界ケースとして等価な ODE を含むが、特定条件下ですべて同じ周辺分布を共有する。
• 詳細な比較は計算効率のトレードオフを明らかにし、デバイアス補正戦略は MNIST や CIFAR-10 のようなデータセットで実際の尤度推定を改善する。