[論文レビュー] Convergence for score-based generative modeling with polynomial complexity

Holden Lee, Jianfeng Lu+1 more|arXiv (Cornell University)|Jun 13, 2022

Generative Adversarial Networks and Image Synthesis被引用数 8

ひとこと要約

この論文は、$ L^2(p) $-精度のスコア推定を用いて分布からのサンプリングを分析することにより、スコアベースの生成モデリング（SGM）における最初の多項式時間収束保証を確立した。アニーリングとウォームスタートを組み合わせた手法、特に予測子・補正子フレームワークを用いることで、対数ソボレフ定数および次元に多項式的に依存する収束を保証し、指数的誤差増大や次元の呪いを回避する。

ABSTRACT

Score-based generative modeling (SGM) is a highly successful approach for learning a probability distribution from data and generating further samples. We prove the first polynomial convergence guarantees for the core mechanic behind SGM: drawing samples from a probability density $p$ given a score estimate (an estimate of $ abla \ln p$) that is accurate in $L^2(p)$. Compared to previous works, we do not incur error that grows exponentially in time or that suffers from a curse of dimensionality. Our guarantee works for any smooth distribution and depends polynomially on its log-Sobolev constant. Using our guarantee, we give a theoretical analysis of score-based generative modeling, which transforms white-noise input into samples from a learned data distribution given score estimates at different noise scales. Our analysis gives theoretical grounding to the observation that an annealed procedure is required in practice to generate good samples, as our proof depends essentially on using annealing to obtain a warm start at each step. Moreover, we show that a predictor-corrector algorithm gives better convergence than using either portion alone.

研究の動機と目的

• 推定スコア関数を用いた分布からのサンプリングの収束保証を提供することで、スコアベースの生成モデリング（SGM）における理論的ギャップを埋めること。
• 実際の高品質なサンプル生成においてアニーリング（またはホモトピー）がなぜ不可欠であるかという理論的理解の欠如を解消すること。
• 先行研究の理論的分析が直面する指数的誤差増大や次元依存の blowup を回避し、収束バウンドにおける指数的成長を排除すること。
• 収束が対数ソボレフ定数および次元に対して多項式的に依存することを確立し、指数的依存ではないことの証明。
• 理論的に予測子・補正子アルゴリズムが単独の各コンponentよりも優れていることを示すこと。

提案手法

• 推定スコア関数に基づく確率的微分方程式（SDE）を用いたサンプリングの理論的分析。解析は$ L^2(p) $-ノルムに基づく。
• 対数ソボレフ定数を用いて収束速度を制御し、目的分布と近似分布の$ \chi^2 $-発散をバウンドすること。
• 初期分布が事前分布（例えばガウス分布）に近い場合の$ \chi^2 $-発散バウンドを用いたウォームスタートの議論。
• 一般のノイズスケジュール下でのSMLD（スコアマッチング・ランジエビアン拡散）およびDDPM（ノイズ除去拡散確率的モデル）の両方に対するバウンドの導出。
• 最終分布の$ \chi^2 $-発散が$ 4\exp\left(\frac{d(2M_1 + 8C_{\text{LS}})}{\sigma^2}\right) $でバウンドされることの証明。ここで$ \sigma^2 $はノイズスケジュールに依存する。
• 予測子がスコア推定を用い、補正子がMCMCステップを適用してサンプルを精緻化する予測子・補正子フレームワークの使用。

実験結果

リサーチクエスチョン

• RQ1 次元および対数ソボレフ定数に多項式的に依存する収束保証を、スコアベースの生成モデリングに提供できるか。指数的誤差増大を回避できるか。
• RQ2 実際の高品質なサンプル生成においてなぜアニーリング（またはホモトピー）が必要なのか。理論的根拠は得られるか。
• RQ3 SGMにおける予測子と補正子ステップを組み合わせることで、単独の各ステップよりも良い収束が達成されるか。その理由は何か。
• RQ4 $ L^2(p) $-精度のスコア推定下での、近似分布と目的分布の$ \chi^2 $-発散の振る舞いはいかなるものか。
• RQ5 初期分布の目的分布からの$ \chi^2 $-発散が、全体の収束速度に果たす役割は何か。

主な発見

• 本論文は、スコアベースの生成モデリングにおける時間的多項式収束を確立し、誤差が$ \exp\left(\frac{d(2M_1 + 8C_{\text{LS}})}{\sigma^2}\right) $に比例することを示した。ここで$ C_{\text{LS}} $は対数ソボレフ定数である。
• ノイズ除去後の事前分布とデータ分布の$ \chi^2 $-発散が$ 4\exp\left(\frac{d(2M_1 + 8C_{\text{LS}})}{\sigma^2}\right) $でバウンドされることを示し、次元依存性が指数的ではなく多項式的であることを示した。
• アニーリングは理論的にウォームスタート機構として正当化される。収束を保証するためには、初期分布が$ \chi^2 $-発散において目的分布に近い必要がある。
• 予測子・補正子アルゴリズムは、補正子がMCMCステップを用いて$ \chi^2 $-発散を低減するため、単独の各コンponentよりも優れた収束を達成する。
• SMLDおよびDDPMの両方において、収束バウンドが次元および対数ソボレフ定数に対して多項式的に依存し、次元の呪いを回避する。
• 本分析は、離散的および連続的ノイズスケジュールを含む一般のSDEベースのSGMに適用可能であり、SMLDおよびDDPMを統一的に扱う理論的フレームワークを提供する。