[论文解读] A Continuous Time Framework for Discrete Denoising Models

Andrew T. Campbell, Joe Benton+4 more|arXiv (Cornell University)|May 30, 2022

Model Reduction and Neural Networks被引用 7

一句话总结

本文通过将前向加噪过程和反向生成过程建模为连续时间马尔可夫链（CTMC），提出了一种用于离散去噪扩散模型的连续时间框架，结合tau-leaping与预测-校正方案，实现了灵活且高精度的采样。该方法在CIFAR-10和单音音乐生成任务上达到了最先进水平的生成质量，优于以往的离散时间方法。

ABSTRACT

We provide the first complete continuous time framework for denoising diffusion models of discrete data. This is achieved by formulating the forward noising process and corresponding reverse time generative process as Continuous Time Markov Chains (CTMCs). The model can be efficiently trained using a continuous time version of the ELBO. We simulate the high dimensional CTMC using techniques developed in chemical physics and exploit our continuous time framework to derive high performance samplers that we show can outperform discrete time methods for discrete data. The continuous time treatment also enables us to derive a novel theoretical result bounding the error between the generated sample distribution and the true data distribution.

研究动机与目标

• 为克服离散数据上离散时间去噪模型的局限性，实现连续时间建模。
• 将前向加噪过程与反向生成过程形式化为连续时间马尔可夫链（CTMC），以提升灵活性。
• 推导用于参数化反向过程高效训练的连续时间ELBO目标。
• 利用tau-leaping与预测-校正方案开发高精度采样器，以提升生成质量。
• 建立生成数据分布与真实数据分布之间误差的理论边界。

提出的方法

• 将前向加噪过程建模为具有状态相关转移速率 $ R_t $ 的CTMC。
• 将反向生成过程定义为前向CTMC的时间反转，由去噪网络 $ p_{0|t}^\theta(x_0|x_t) $ 参数化。
• 推导用于训练参数化反向过程的连续时间ELBO目标。
• 使用tau-leaping高效模拟反向过程，并引入一种新颖的预测-校正方案以提高精度。
• 应用拒绝采样以确保反向采样期间有效类别转移。
• 推导在tau-leaping下真实数据分布与生成分布之间误差的理论边界。

实验结果

研究问题

• RQ1 能否通过CTMC有效构建离散去噪模型的连续时间框架？
• RQ2 与离散时间方法相比，使用tau-leaping与预测-校正方案的连续时间采样在生成质量上如何提升？
• RQ3 在此连续时间设定下，真实数据分布与生成分布之间的理论误差边界是什么？
• RQ4 速率矩阵的选择（如均匀分布与出生/死亡型）如何影响采样动态与性能表现？
• RQ5 该框架能否在CIFAR-10与音乐序列等离散数据上实现具有竞争力的生成质量？

主要发现

• 所提出的结合tau-leaping与预测-校正采样的连续时间框架，生成的CIFAR-10样本质量优于以往的离散时间离散状态方法。
• 反向采样过程中的拒绝率保持极低（基本为零），表明采样高效且稳定，极少发生拒绝。
• 模型能基于前两小节生成多样且风格一致的音乐补全，展现出对序列结构的强建模能力。
• 理论分析为真实数据分布与生成分布之间的误差提供了严格的边界。
• 该方法弥合了图像生成中离散与连续数据建模之间的性能差距，在CIFAR-10上实现了最先进结果。