[論文レビュー] Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models

Fan Bao, Chongxuan Li+2 more|arXiv (Cornell University)|Jan 17, 2022

Generative Adversarial Networks and Image Synthesis被引用数 74

ひとこと要約

Analytic-DPM は、訓練不要な解析推定を用いて拡散確率モデルにおける最適逆分散を推定し、追加の訓練なしでより速く、より尤度精度の高いサンプリングを実現します。スコア関数から分散とKL境界を導出し、動的計画法を用いて効率的な推論軌道を見つけます。

ABSTRACT

Diffusion probabilistic models (DPMs) represent a class of powerful generative models. Despite their success, the inference of DPMs is expensive since it generally needs to iterate over thousands of timesteps. A key problem in the inference is to estimate the variance in each timestep of the reverse process. In this work, we present a surprising result that both the optimal reverse variance and the corresponding optimal KL divergence of a DPM have analytic forms w.r.t. its score function. Building upon it, we propose Analytic-DPM, a training-free inference framework that estimates the analytic forms of the variance and KL divergence using the Monte Carlo method and a pretrained score-based model. Further, to correct the potential bias caused by the score-based model, we derive both lower and upper bounds of the optimal variance and clip the estimate for a better result. Empirically, our analytic-DPM improves the log-likelihood of various DPMs, produces high-quality samples, and meanwhile enjoys a 20x to 80x speed up.

研究の動機と目的

• 拡散確率モデル（DPMs）における逆分散推定を扱うことで、推論をより速く、尤度一貫性のあるものにする。
• 最適な逆分散とKL発散をスコア関数の項で解析的に形式化する。
• Monte Carlo と事前学習済みスコアモデルを用いて訓練不要の枠組み（Analytic-DPM）でこれらの量を推定する。
• スコアモデルの近似によるバイアスを減らすため、分散推定をクリップする境界を導入する。
• Analytic-DPM が対数尤度とサンプル品質を改善しつつ、大幅な高速化を実現することを経験的に示す。

提案手法

• KLを最小化する逆過程における最適な逆平均と分散がスコア関数に依存する解析形式を持つことを証明する（定理1）。
• 訓練済みスコアモデルのモンテカルロ平均を用いて最適な逆分散 9 を推定する（Gamma と式（9）を用） 。
• 最適な分散の上限下限を導出し（定理2）、推定をクリップしてバイアスを減らす。
• 最短の前方軌跡を構築し、最小コスト経路 DP（Watson et al., 2021）を用いて最適なサンプリングスケジュールを決定する（式（14））。
• 枠組みを連続的なタイムステップへ拡張し、軌道最適化（OT）と ET 戦略について論じる。
• 事前学習済みおよび自己学習スコアモデルを用いたデータセット（CIFAR-10、CelebA、ImageNet）で手法を検証し、DDPMおよびDDIMのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 DPM における最適な逆分散とKL発散をスコア関数の項に関して解析的に表現できるか。
• RQ2 訓練不要な Analytic-DPM が事前学習済みスコアモデルからこれらの最適量を効率的に推定できるか。
• RQ3 分散境界に基づくクリッピングがバイアスと性能にどのように影響するか。
• RQ4 最短または最適に構築された軌道を DP によって選択することが、Analytic-DPM における対数尤度とサンプル品質を維持・改善するか。
• RQ5 Analytic-DPM は異なる前方過程（DDPMとDDIM）およびデータセットに適用可能か。

主な発見

• 最適な逆平均と分散はスコア関数に関して解析的な形を持つ（定理1）。
• 解析的分散推定量 ϕ は、モンテカルロと Gamma 統計を用いて訓練済みスコアモデルから算出可能（式（9）） 。
• 分散の境界を設けてクリップすることでバイアスを低減でき、下限/上限の境界が明示的に提供される（定理2）。
• 最短パス DP は軌跡を効率的に選択でき、複数の手法とデータセットで対数尤度とサンプル品質を向上または維持しつつ、20x〜80x の高速化を実現する。
• Analytic-DPM は CIFAR-10、CelebA-64、ImageNet-64x64 の各データセットで ETおよび OT 軌道の下で従来の DDPM を跨いで対数尤度を一貫して改善し（表1）、DDIM ベースのサンプリングでは FID も改善する（表2）。
• Analytic-DPM は ET/OT 軌道で CIFAR-10 において例えば 40x の大幅な高速化を達成しつつ、尤度とサンプル品質でベースラインを上回すことが多い。