[论文解读] Maximum Likelihood Training for Score-Based Diffusion ODEs by High-Order Denoising Score Matching

Cheng Lü, Kaiwen Zheng+4 more|arXiv (Cornell University)|Jun 16, 2022

Model Reduction and Neural Networks被引用 11

一句话总结

本文提出高阶去噪得分匹配以在基于得分的扩散 SDE（ScoreODE）中最大化似然，填补了一阶得分匹配与精确似然优化之间的差距。通过使用一阶、二阶和三阶得分匹配误差来界定负对数似然，该方法在保持高样本质量的同时实现了更精确的密度估计，在 CIFAR-10 和合成数据上均取得了改进的似然结果。

ABSTRACT

Score-based generative models have excellent performance in terms of generation quality and likelihood. They model the data distribution by matching a parameterized score network with first-order data score functions. The score network can be used to define an ODE ("score-based diffusion ODE") for exact likelihood evaluation. However, the relationship between the likelihood of the ODE and the score matching objective is unclear. In this work, we prove that matching the first-order score is not sufficient to maximize the likelihood of the ODE, by showing a gap between the maximum likelihood and score matching objectives. To fill up this gap, we show that the negative likelihood of the ODE can be bounded by controlling the first, second, and third-order score matching errors; and we further present a novel high-order denoising score matching method to enable maximum likelihood training of score-based diffusion ODEs. Our algorithm guarantees that the higher-order matching error is bounded by the training error and the lower-order errors. We empirically observe that by high-order score matching, score-based diffusion ODEs achieve better likelihood on both synthetic data and CIFAR-10, while retaining the high generation quality.

研究动机与目标

• 识别一阶得分匹配与 ScoreODE 中最大似然训练之间的根本性差距。
• 理论上利用高阶得分匹配误差（最高至三阶）对 ScoreODE 的负对数似然进行上界界定。
• 提出一种新型高阶去噪得分匹配算法，确保高阶近似误差有界。
• 通过实证验证，高阶训练可提升似然性，同时保持高质量的样本生成能力。
• 在合成高斯混合分布和 CIFAR-10 上均展示出改进的似然性，尤其在较大的评估时间步长下表现更优。

提出的方法

• 推导数据分布与 ScoreODE 分布之间 KL 散度的等价形式，揭示一阶得分匹配与最大似然之间的脱节。
• 建立 ScoreODE 负对数似然的上界，其表达形式涉及一阶、二阶和三阶得分匹配误差。
• 提出一种高阶去噪得分匹配目标函数，通过最小化该上界来确保高阶误差有界。
• 设计一种训练算法，保证高阶匹配误差由训练误差和低阶误差控制。
• 实现可扩展技术，以在高维数据（如 CIFAR-10）上实现实际训练。
• 使用 ODE 求解器和蒙特卡洛采样来评估 ODE 得分函数，以及预测得分与真实得分之间的差异。

实验结果

研究问题

• RQ1 为何一阶得分匹配在样本质量良好时仍无法最大化 ScoreODE 的似然？
• RQ2 是否可以利用高阶得分匹配误差来界定 ScoreODE 的负对数似然？
• RQ3 能否设计一种训练目标，以确保高阶得分匹配误差有界？
• RQ4 高阶得分匹配是否能在合成数据和真实世界数据分布上均提升似然性？
• RQ5 改进后的得分模型是否仍能使用标准采样方法（如 PC 采样器）生成高质量样本？

主要发现

• 在一维简单高斯混合分布中，一阶得分匹配无法准确估计真实数据密度，尤其在低密度区域（如 x = -0.25）表现不佳。
• 所提出的三阶去噪得分匹配在 CIFAR-10 上显著提升了似然性，尤其在较大的评估起始时间（如 ε = 10⁻³）下，一阶训练表现较差。
• 该方法在大多数时间步长上均降低了 ℓ_diff(t)，即预测得分与真实得分之间的差异，表明得分估计更优。
• VP 型 ScoreODE 中的无界得分问题限制了极小 ε 值下的似然提升，但该方法在中等 ε 值下仍优于一阶训练。
• 尽管似然性提升，高阶模型生成的样本在视觉上与一阶模型无异，证实了样本质量得以保持。
• 该方法在不修改采样流程的前提下实现了更优的似然性，表明其与现有基于得分的生成建模流程完全兼容。