[論文レビュー] Convergence of score-based generative modeling for general data distributions

Holden Lee, Jianfeng Lu+1 more|arXiv (Cornell University)|Sep 26, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿は、一般のデータ分布（多峰値的で非滑らかなものも含む）に対して、$L^2$-精度の高いスコア推定に基づくノイズ除去拡散モデルの分析を通じて、スコアベース生成モデル（SGM）の多項式時間収束保証を確立する。滑らかさや関数的不等式に関する強い仮定を一切設けず、Wasserstein距離および全 Variation 距離のバウンドを導出しており、誤差パラメータに対して効率的（多項式的）な依存関係を達成している。

ABSTRACT

Score-based generative modeling (SGM) has grown to be a hugely successful method for learning to generate samples from complex data distributions such as that of images and audio. It is based on evolving an SDE that transforms white noise into a sample from the learned distribution, using estimates of the score function, or gradient log-pdf. Previous convergence analyses for these methods have suffered either from strong assumptions on the data distribution or exponential dependencies, and hence fail to give efficient guarantees for the multimodal and non-smooth distributions that arise in practice and for which good empirical performance is observed. We consider a popular kind of SGM -- denoising diffusion models -- and give polynomial convergence guarantees for general data distributions, with no assumptions related to functional inequalities or smoothness. Assuming $L^2$-accurate score estimates, we obtain Wasserstein distance guarantees for any distribution of bounded support or sufficiently decaying tails, as well as TV guarantees for distributions with further smoothness assumptions.

研究の動機と目的

• 現実的設定におけるスコアベース生成モデル（SGM）の優れた実験的性能と弱い理論的理解の間のギャップを埋めること。
• 滑らかさや関数的不等式に関する仮定なしに、一般のデータ分布（多峰値的で非滑らかなものも含む）に適用可能な、効率的（多項式的）な収束保証を提供すること。
• 先行研究で一般的な $L^\infty$-誤差仮定を避け、$L^2$-精度の高いスコア推定に基づくノイズ除去拡散モデルの分析を行うこと。
• データ分布に対する構造的仮定を最小限に抑えた状態で、Wasserstein距離および全 Variation 距離のバウンドを導出すること。
• 先行研究で見られる指数的依存関係を避けて、誤差パラメータに対して多項式的依存関係を達成すること。

提案手法

• ノイズ除去拡散モデルにおける逆時系列SDEを分析し、真のスコア関数の代わりに $L^2$-精度の高い推定値を用いる。
• 中間時間解析を用いて、$L^2$-誤差が定常分布に非一様に与える影響を扱い、先行研究の $L^\infty$-ベース解析とは異なり、その非一様性を適切に制御する。
• カップリング論法とガウス分布の尾部バウンドを用いて、特に切り詰められたサンプルに対して、TV距離をWasserstein誤差に関連付ける。
• 重い尾部や有界でない分布に対処するため、球体外のサンプルをゼロに置き換える切り捨てステップを導入する。
• 全 Variation 距離または Wasserstein 距離における目標誤差 $\varepsilon_{\text{TV}}$ や $\varepsilon_{\text{W}}$ を達成するためのスコア推定誤差 $\varepsilon_\sigma$ に必要なバウンドを導出する。
• 指数的尾部の仮定と有界なサポートの仮定を用いて、尾部の挙動を制御し、多項式的依存関係を導出する。

実験結果

リサーチクエスチョン

• RQ1 データ分布に滑らかさや関数的不等式に関する仮定を設けずに、スコアベース生成モデルの多項式的収束保証を達成できるか？
• RQ2 $L^2$-精度の高いスコア推定は、Wasserstein距離およびTV距離の観点から、生成分布がデータ分布に収束するのをどのように影響するか？
• RQ3 目標分布誤差（$\varepsilon_{\text{TV}}$ や $\varepsilon_{\text{W}}$）を達成するためには、どの程度のスコア推定精度（$\varepsilon_\sigma$）が必要か？
• RQ4 強い正則性条件を要しない状態で、有界なサポートまたは指数的尾部を持つ分布を扱えるか？
• RQ5 球体外のサンプルを切り捨てることで、重い尾部の存在下でのWasserstein誤差にどのような影響が生じるか？

主な発見

• 有界なサポートまたは指数的尾部を持つ分布に対して、本稿は $\operatorname{TV}(p_{t_N}, P_{\text{data}}) \leq \varepsilon_{\text{TV}}$ を達成し、$\varepsilon_\sigma = \widetilde{o}\left(\frac{\varepsilon_{\text{TV}}^{6.5}\varepsilon_{\text{W}}^5}{R^9 d^{2.25}}\right)$ を得る。これは誤差および次元に多項式的依存関係を示している。
• 追加の滑らかさ仮定のもとでは、必要なスコア誤差は $\varepsilon_\sigma = \widetilde{o}\left(\frac{\varepsilon_{\text{TV}}^4}{C^2 d}\right)$ となり、先行研究の指数的依存関係を改善する。
• Wasserstein誤差に関しては、一般条件下で $\varepsilon_\sigma = \widetilde{o}\left(\frac{\varepsilon_{\text{W}}^{18}}{R^{22} d^{2.25}}\right)$ を導出し、より強い滑らかさ仮定のもとでは $\varepsilon_\sigma = \widetilde{o}\left(\frac{\varepsilon_{\text{W}}^8}{C^2 R^8 d}\right)$ を得る。
• 直径や逆誤差に指数的依存関係を避けるために、中間時間アプローチと精密なカップリング技術を用いることで、先行研究とは異なり、指数的依存関係を回避している。
• 結果は、標準的な仮定（例：対数ソボレフ不等式）を満たさない多峰値的で次元が低い多様体上にサポートを持つ分布に対しても成立する。
• 球体外のサンプルを切り捨て、ガウス分布の尾部バウンドを用いることで、有界でない分布に対してもWasserstein誤差バウンドを達成している。