[論文レビュー] Maximum Likelihood Training for Score-Based Diffusion ODEs by High-Order Denoising Score Matching

Cheng Lü, Kaiwen Zheng+4 more|arXiv (Cornell University)|Jun 16, 2022

Model Reduction and Neural Networks被引用数 11

ひとこと要約

本稿では、スコアベース拡散確率微分方程式（ScoreODE）における尤度最大化のための高次ノイズ除去スコアマッチングを提案する。これは、1次スコアマッチングと正確な尤度最適化の間のギャップを解消することを目的としている。1次、2次、3次スコアマッチング誤差を用いて負の対数尤度をバインドすることで、高い密度推定精度を実現するとともに、高いサンプル品質を維持し、CIFAR-10および合成データにおいてより優れた尤度を達成する。

ABSTRACT

Score-based generative models have excellent performance in terms of generation quality and likelihood. They model the data distribution by matching a parameterized score network with first-order data score functions. The score network can be used to define an ODE ("score-based diffusion ODE") for exact likelihood evaluation. However, the relationship between the likelihood of the ODE and the score matching objective is unclear. In this work, we prove that matching the first-order score is not sufficient to maximize the likelihood of the ODE, by showing a gap between the maximum likelihood and score matching objectives. To fill up this gap, we show that the negative likelihood of the ODE can be bounded by controlling the first, second, and third-order score matching errors; and we further present a novel high-order denoising score matching method to enable maximum likelihood training of score-based diffusion ODEs. Our algorithm guarantees that the higher-order matching error is bounded by the training error and the lower-order errors. We empirically observe that by high-order score matching, score-based diffusion ODEs achieve better likelihood on both synthetic data and CIFAR-10, while retaining the high generation quality.

研究の動機と目的

• ScoreODEにおける1次スコアマッチングと最大尤度学習の間の根本的ギャップを特定すること。
• 1次、2次、3次スコアマッチング誤差（最高3次まで）を用いて、ScoreODEの負の対数尤度を理論的にバインドすること。
• 高次近似誤差が有界であることを保証する、新しい高次ノイズ除去スコアマッチングアルゴリズムを構築すること。
• 高次学習が尤度を向上させつつも、高い品質のサンプル生成を維持することを実証的に検証すること。
• 特に大きな評価時間ステップにおいて、合成ガウス混合分布およびCIFAR-10で尤度が向上することを示すこと。

提案手法

• データ分布とScoreODE分布のKLダイバージェンスの同値表現を導出し、1次スコアマッチングと最大尤度の間の不一致を明らかにする。
• 1次、2次、3次スコアマッチング誤差を用いて、ScoreODEの負の対数尤度に対する上界を確立する。
• 上界を最小化する高次ノイズ除去スコアマッチングの目的関数を提案し、高次誤差が有界であることを保証する。
• 高次マッチング誤差が学習誤差および低次誤差によって制御されることを保証する訓練アルゴリズムを設計する。
• CIFAR-10などの高次元データへの実用的訓練のためのスケーリング技術を実装する。
• ODEソルバーやモンテカルロサンプリングを用いて、ODEスコア関数および予測スコアと真のスコアの差を評価する。

実験結果

リサーチクエスチョン

• RQ1 1次スコアマッチングは、良好なサンプル品質を示すにもかかわらず、なぜScoreODEの尤度を最大化できないのか？
• RQ2 高次スコアマッチング誤差を用いて、ScoreODEの負の対数尤度をバインドできるか？
• RQ3 高次スコアマッチング誤差が有界であることを保証する訓練目的関数を設計可能か？
• RQ4 高次スコアマッチングは、合成データおよび現実世界のデータ分布の両方で尤度を向上させるか？
• RQ5 改善されたスコアモデルでも、PCサンプリングなどの標準的なサンプリング手法を用いて高品質なサンプルを生成できるか？

主な発見

• 1次スコアマッチングは、単純な1次元ガウス混合分布において、特に低密度領域（例：x = -0.25）で真のデータ密度を正しく推定できない。
• 提案された3次ノイズ除去スコアマッチングは、CIFAR-10において尤度を顕著に向上させ、特に大きな評価開始時刻（例：ε = 10⁻³）において、1次学習が著しく性能を発揮しない状況で顕著な改善を示す。
• 時間ステップの大部分において、予測スコアと真のスコアの差を表すℓ_diff(t)が低減され、より良いスコア推定が実現していることが示された。
• VP型ScoreODEにおける無限大スコア問題により、非常に小さなεでは尤度向上が制限されるが、中程度のεでは依然として1次学習を上回る性能を示す。
• 尤度が向上しても、高次モデルから生成されたサンプルは1次モデルと視覚的に区別がつかず、サンプル品質が維持されていることが確認された。
• サンプリング手順を変更することなく尤度が向上したため、従来のスコアベース生成モデリングパイプラインと互換性があることが示された。