[论文解读] Estimating High Order Gradients of the Data Distribution by Denoising

Chenlin Meng, Yang Song+2 more|arXiv (Cornell University)|Nov 8, 2021

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

该论文提出了一种新颖方法，通过广义Tweedie公式，直接从样本中估计数据密度的高阶梯度（例如Hessian矩阵），将去噪得分匹配扩展至高阶得分。该方法在无需依赖低阶模型的情况下，实现了比自动微分更精确且更高效的二阶得分估计，从而提升了Langevin动力学中的采样速度，并在去噪任务中量化了不确定性。

ABSTRACT

The first order derivative of a data density can be estimated efficiently by denoising score matching, and has become an important component in many applications, such as image generation and audio synthesis. Higher order derivatives provide additional local information about the data distribution and enable new applications. Although they can be estimated via automatic differentiation of a learned density model, this can amplify estimation errors and is expensive in high dimensional settings. To overcome these limitations, we propose a method to directly estimate high order derivatives (scores) of a data density from samples. We first show that denoising score matching can be interpreted as a particular case of Tweedie's formula. By leveraging Tweedie's formula on higher order moments, we generalize denoising score matching to estimate higher order derivatives. We demonstrate empirically that models trained with the proposed method can approximate second order derivatives more efficiently and accurately than via automatic differentiation. We show that our models can be used to quantify uncertainty in denoising and to improve the mixing speed of Langevin dynamics via Ozaki discretization for sampling synthetic data and natural images.

研究动机与目标

• 解决通过学习密度模型的自动微分估计高阶梯度时存在的效率低下和误差放大问题。
• 开发一种无需依赖低阶模型的、基于样本的直接高阶得分（例如Hessian矩阵）估计方法。
• 通过采用如Ozaki等更高阶的离散化方案，提升基于得分的生成模型中的采样效率。
• 通过估计反映干净数据条件协方差的二阶得分，实现去噪任务中的不确定性量化。
• 在合成数据集和自然图像数据集上展示该方法的可扩展性和准确性。

提出的方法

• 通过推导Tweedie公式的更高阶扩展，推广去噪得分匹配，将条件矩与高阶得分联系起来。
• 使用最小二乘回归将去噪预测与得分估计关联，实现高阶导数的直接学习。
• 引入一种方差缩减技术，以提高高阶得分估计目标的优化稳定性。
• 直接参数化并训练模型以估计二阶得分（Hessian矩阵），使用基于广义Tweedie公式的可微分目标。
• 将学习到的二阶得分应用于Langevin动力学，通过Ozaki离散化提升混合速度。
• 采用Hessian矩阵的对角或低秩近似，以在高维空间中保持计算效率。

实验结果

研究问题

• RQ1 能否在不依赖低阶模型自动微分的前提下，直接从数据样本中估计高阶得分？
• RQ2 Tweedie公式如何扩展以估计对数密度的更高阶导数？
• RQ3 与自动微分相比，直接的高阶得分估计是否能带来更精确且更高效的Hessian矩阵近似？
• RQ4 学习到的高阶得分是否能提升Langevin动力学等采样算法的混合速度？
• RQ5 二阶得分能否在去噪任务中提供有意义的不确定性量化？

主要发现

• 与自动微分相比，该方法在MNIST数据集上的二阶得分估计速度最高提升了500倍。
• 使用该方法训练的模型所近似得到的二阶得分，比通过一阶得分模型自动微分获得的结果更精确。
• 使用学习到的二阶得分进行Ozaki离散化的Langevin动力学在合成数据集和MNIST数据集上均表现出更快的收敛速度，证明了其混合速度的提升。
• 该方法通过估计给定噪声观测下干净数据的条件协方差，实现了更优的去噪不确定性量化。
• 使用学习到的Hessian矩阵与Ozaki离散化进行采样时，样本链表现出更高的多样性，MNIST数据集中在迭代过程中类别标签变化的比例更高。
• 通过采用低秩或对角Hessian近似，该方法保持了计算效率，能够良好扩展至高维数据。