[論文レビュー] Theoretical guarantees for sampling and inference in generative models with latent diffusions

Belinda Tzen, Maxim Raginsky|arXiv (Cornell University)|Mar 5, 2019

Bayesian Methods and Mixture Models参考文献 40被引用数 13

ひとこと要約

本論文は、確率的制御を通じてサンプリングと変分推論を統合することにより、潜在拡散過程を用いた生成モデルにおけるサンプリングと推論の理論的保証を確立する。ニューラルネットワークでパrameter化されたドリフトが、ε-KL発散の意味でターゲット分布を効率的に近似できることを証明し、ランダム・デプスの深層生成モデルを用いた分散が有界な不偏推定スキームを導入する。

ABSTRACT

We introduce and study a class of probabilistic generative models, where the latent object is a finite-dimensional diffusion process on a finite time interval and the observed variable is drawn conditionally on the terminal point of the diffusion. We make the following contributions: We provide a unified viewpoint on both sampling and variational inference in such generative models through the lens of stochastic control. We quantify the expressiveness of diffusion-based generative models. Specifically, we show that one can efficiently sample from a wide class of terminal target distributions by choosing the drift of the latent diffusion from the class of multilayer feedforward neural nets, with the accuracy of sampling measured by the Kullback-Leibler divergence to the target distribution. Finally, we present and analyze a scheme for unbiased simulation of generative models with latent diffusions and provide bounds on the variance of the resulting estimators. This scheme can be implemented as a deep generative model with a random number of layers.

研究の動機と目的

• 確率的制御フレームワークを用いて、潜在拡散生成モデルにおけるサンプリングと変分推論を統一すること。
• ドリフトにニューラルネットワークを用いることで、拡散ベースのモデルの表現力が、Kullback–Leibler 発散においてε近似を達成できることを示すこと。
• 厳密な分散バウンドを持つ、潜在拡散モデル向けの不偏シミュレーションスキームの開発。

提案手法

• 参照拡散のドリフトを調整することでターゲット終端分布に一致するよう制御する確率的制御問題を定式化する。
• 自由エネルギー汎関数の最小化から導かれるFöllmerドリフトを最適制御として用い、正確なサンプリングを実現する。
• 対数尤度の上界を最小化することで変分推論を適用し、制御コストを正則化項として用いる。
• ドリフトのパラメトリック関数クラスとしてニューラルネットワークを用い、複雑なターゲット分布の効率的近似を可能にする。
• ランダムな層数を用いた深層生成モデルのアーキテクチャを通じて不偏シミュレーション手法を開発し、部分積分とモーメント生成関数の技法を用いて分散バウンドを導出する。
• ガウス型部分積分公式およびMittag–Leffler関数の性質を用いて、推定器の一様可積分性と収束性を確立する。

実験結果

リサーチクエスチョン

• RQ1 潜在拡散モデルにおけるサンプリングと変分推論を、単一の確率的制御フレームワークで統合する方法は何か？
• RQ2 ドリフトが深層ニューラルネットワークによってパラメータ化された場合、拡散ベースの生成モデルの表現能力はどの程度か？
• RQ3 潜在拡散モデルに対して、証明可能な分散バウンドを持つ不偏推定器を構築できるか？
• RQ4 ドリフトのパラメータ化の選択が、終端分布とターゲットとの間のKL発散に与える影響は何か？
• RQ5 提案された不偏シミュレーションスキームの収束性と可積分性を保証する条件は何か？

主な発見

• Föllmerドリフトは、終端時刻におけるターゲット分布からの正確なサンプリングを可能にする最適制御戦略を提供し、制御コストが要請される仕事量を定量化する。
• ニューラルネットワークでパrameter化されたドリフトは、任意のターゲット分布をε-KL発散の意味で近似可能であり、拡散ベースの生成モデルの表現力が確立される。
• 変分推論の目的関数は、制御コストの最小化問題として導出され、実用的な最適化フレームワークを提供する。
• ランダムな層数を用いた不偏シミュレーションスキームが構築され、その結果得られる推定器の分散はMittag–Leffler関数の関数によって有界である。
• 推定器の系列が一様可積分であることが示され、適切なモーメント条件の下で収束が保証される。
• 部分積分とモーメント生成関数の技法を用いて分散バウンドが導出され、最終的なバウンドはMittag–Leffler関数の形で表現される。