[论文解读] Annealed Denoising Score Matching: Learning Energy-Based Models in High-Dimensional Spaces

Zengyi Li, Yubei Chen+1 more|arXiv (Cornell University)|Sep 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 49被引用 14

一句话总结

该论文提出了一种名为退火去噪得分匹配（Annealed Denoising Score Matching, ADSM）的新颖训练方法，用于能量模型（Energy-Based Models, EBMs），通过在多个噪声尺度上匹配得分来学习能量函数。通过结合退火Langevin动力学与多尺度去噪，该方法实现了从随机初始化的高质量样本生成，在高维数据集上达到了最先进的样本质量，并为基于EBM的生成设定了新基准。

ABSTRACT

Energy-Based Models (EBMs) outputs unmormalized log-probability values given data samples. Such an estimation is essential in a variety of applications such as sample generation, denoising, sample restoration, outlier detection, Bayesian reasoning, and many more. However, standard maximum likelihood training is computationally expensive due to the requirement of sampling the model distribution. Score matching potentially alleviates this problem, and denoising score matching is a particularly convenient version. However, previous works do not produce models capable of high quality sample synthesis in high dimensional datasets from random initialization. We believe that is because the score is only matched over a single noise scale, which corresponds to a small set in high-dimensional space. To overcome this limitation, here we instead learn an energy function using denoising score matching over all noise scales. When sampled from random initialization using Annealed Langevin Dynamics and single-step denoising jump, our model produced high-quality samples comparable to state-of-the-art techniques such as GANs. The learned model also provide density information and set a new sample quality baseline in energy-based models. We further demonstrate that the proposed method generalizes well with an image inpainting task.

研究动机与目标

• 为解决现有去噪得分匹配方法仅在单一噪声尺度上匹配得分，导致在高维空间中样本质量较差的局限性。
• 在高维数据集中，通过能量模型实现从随机初始化的高保真度样本合成。
• 开发一种在下游任务（如图像修复）中具有良好泛化能力的训练过程。
• 提供一种结合得分匹配与密度估计优势、并提升样本质量的方法。

提出的方法

• 该方法将去噪得分匹配扩展到多个噪声尺度，通过在一系列噪声水平上最小化期望得分匹配损失来学习能量函数。
• 采用退火Langevin动力学进行采样，在采样过程中逐步降低噪声水平，以改善收敛性和样本质量。
• 引入单步去噪跳跃以加速收敛并提高采样效率。
• 使用多尺度噪声调度进行模型训练，不仅在单一噪声水平上匹配得分，而是在连续的噪声方差范围内进行匹配。
• 通过加权损失优化能量函数，以考虑训练过程中噪声水平的分布。

实验结果

研究问题

• RQ1 在多个噪声尺度上进行去噪得分匹配是否能提升高维能量模型中的样本质量？
• RQ2 结合多尺度去噪的退火Langevin动力学是否能实现从随机初始化的高保真度生成？
• RQ3 与最先进的生成模型（如GAN）相比，所提方法是否能实现具有竞争力的样本质量？
• RQ4 该模型在图像修复等下游任务中的泛化能力如何？

主要发现

• 所提方法在高维数据集中实现了与最先进的基于GAN的方法相当的高保真度样本生成。
• 即使从随机权重初始化，该模型也能生成高质量样本，表明其训练动态具有鲁棒性。
• 所学习的能量函数提供了准确的密度估计，使该方法不仅适用于生成任务，还可用于异常值检测和贝叶斯推理等应用。
• 该方法在图像修复任务中表现出色，显示出在条件生成任务中的强泛化性能。