[論文レビュー] Score-based Generative Modeling Secretly Minimizes the Wasserstein Distance

Dohyun Kwon, Ying Fan+1 more|arXiv (Cornell University)|Dec 13, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

この論文は、スコアマッチング損失に関する Wasserstein 距離の上界を証明することで、スコアベースの生成モデルが、暗黙的かつ秘密裏に生成分布とデータ分布間の Wasserstein 距離を最小化していることを確立している。最適輸送理論を用いて、Wasserstein 距離は定数およびオフセットを除き、損失の平方根によって上界で抑えられることを示し、モデルの分布近似における実験的成功の理論的裏付けを提供する。

ABSTRACT

Score-based generative models are shown to achieve remarkable empirical performances in various applications such as image generation and audio synthesis. However, a theoretical understanding of score-based diffusion models is still incomplete. Recently, Song et al. showed that the training objective of score-based generative models is equivalent to minimizing the Kullback-Leibler divergence of the generated distribution from the data distribution. In this work, we show that score-based models also minimize the Wasserstein distance between them under suitable assumptions on the model. Specifically, we prove that the Wasserstein distance is upper bounded by the square root of the objective function up to multiplicative constants and a fixed constant offset. Our proof is based on a novel application of the theory of optimal transport, which can be of independent interest to the society. Our numerical experiments support our findings. By analyzing our upper bounds, we provide a few techniques to obtain tighter upper bounds.

研究の動機と目的

• スコアベースの生成モデルが、KL 発散を最小化する以外の観点から、実際の性能が優れている理由を理論的に理解すること。
• スコアベースのモデルが、直接的に最適化されていないにもかかわらず、暗黙的に Wasserstein 距離を最小化しているかどうかを調査すること。
• スコアマッチング目的関数を用いて、Wasserstein 距離に対する厳密な上界を確立すること。
• モデル設計および学習選択による理論的上界のタイトニングに関する実用的知見を提供すること。

提案手法

• 著者たちは、連続性方程式を介して、スコアベースのモデルにおける確率測度の時間発展を最適輸送理論を用いて分析する。
• Fokker-Planck 動的および逆方向 SDE 動的から導かれる速度場を用いて、データ分布とモデル分布間の Wasserstein 距離の時間微分を導出する。
• 重要な不等式が確立される：Wasserstein 距離の変化率は、スコアマッチング損失およびリプシッツ定数の関数によって上界で抑えられる。
• その上界は $ -\frac{d}{dt}W_2(p_t, q_t) \leq (L_f + L_s g^2)W_2(p_t, q_t) + g^2 b^{1/2} $ として表現され、ここで $ b(t) $ は期待二乗スコア誤差である。
• 理論的上界として $ W_2(p_0, q_0) $ の上界がスコアマッチング損失 $ J_{SM} $ の関数として導出され、これは $ \sqrt{J_{SM}} $ に比例することが示された。
• 数値実験により理論的上界が検証され、時間ホライズン $ T $ やノイズスケジュールの調整といった、上界をタイトにする手法が探求された。

実験結果

リサーチクエスチョン

• RQ1 スコアベースの生成モデリングは、生成分布とデータ分布間の Wasserstein 距離を暗黙的に最小化しているか？
• RQ2 モデルが直接的に最適化していないにもかかわらず、スコアマッチング損失関数を用いて Wasserstein 距離を上界で抑えられるか？
• RQ3 時間ホライズン $ T $ およびノイズスケジュールの選択が、Wasserstein 距離の理論的上界のタイトネスに与える影響は何か？
• RQ4 実世界の学習において、理論的上界をタイトにする実用的技術は何か？

主な発見

• データ分布とモデル分布間の Wasserstein 距離は、乗数定数および固定オフセットを除き、スコアマッチング損失 $ J_{SM} $ の平方根によって上界で抑えられる。
• 上界は最適輸送理論および Fokker-Planck および逆方向 SDE プロセスの軌道に沿った Wasserstein 度量の時間微分を用いて導出された。
• 適切な仮定の下で $ J_{SM} \leq J_{DSM} $ を証明し、より実用的な $ J_{DSM} $ 損失が Wasserstein 距離の上界を求めるための代理として使用可能であることを示した。
• 数値実験により、スコアマッチング損失が減少するにつれて、KL 発散および Wasserstein 距離の両方が減少することが確認され、理論的主張を支持した。
• 時間ホライズン $ T $ が大きい場合（例：$ T \geq 100 $）、上界が顕著にタイトになることが示され、$ I(T)W_2(p_T, q_T) $ はほぼ指数関数的に減少した。
• 初期のデータ分布への摂動に対してもモデルが頑健であることが示され、そのような変更に対しても Wasserstein 距離は有界のままであった。