[论文解读] CARD: Classification and Regression Diffusion Models

Xizewen Han, Huangjie Zheng+1 more|arXiv (Cornell University)|Jun 15, 2022

Bayesian Methods and Mixture Models被引用 33

一句话总结

CARD 将基于扩散的条件生成建模与预训练的条件平均估计器相结合，以恢复完整的条件分布 p(y|x)，在回归基准测试中达到最先进的结果，并为分类提供实例级模型置信度。

ABSTRACT

Learning the distribution of a continuous or categorical response variable $\boldsymbol y$ given its covariates $\boldsymbol x$ is a fundamental problem in statistics and machine learning. Deep neural network-based supervised learning algorithms have made great progress in predicting the mean of $\boldsymbol y$ given $\boldsymbol x$, but they are often criticized for their ability to accurately capture the uncertainty of their predictions. In this paper, we introduce classification and regression diffusion (CARD) models, which combine a denoising diffusion-based conditional generative model and a pre-trained conditional mean estimator, to accurately predict the distribution of $\boldsymbol y$ given $\boldsymbol x$. We demonstrate the outstanding ability of CARD in conditional distribution prediction with both toy examples and real-world datasets, the experimental results on which show that CARD in general outperforms state-of-the-art methods, including Bayesian neural network-based ones that are designed for uncertainty estimation, especially when the conditional distribution of $\boldsymbol y$ given $\boldsymbol x$ is multi-modal. In addition, we utilize the stochastic nature of the generative model outputs to obtain a finer granularity in model confidence assessment at the instance level for classification tasks.

研究动机与目标

• 动机：说明需要恢复完整的条件分布 p(y|x)，超越条件均值估计，特别是对于多模态或不确定结果。
• 引入 CARD，一种基于扩散的条件生成模型，它注入协变量依赖性并包含一个预训练的均值估计器。
• 展示 CARD 能够准确估计 p(y|x, D)，并在基准测试上超越最先进的不确定性估计方法。
• 提供一种新的分布感知评估指标，并展示分类任务中的实例级模型置信度。

提出的方法

• 将 CARD 构建为一个去噪扩散概率模型，其前向过程为 q(y_t|y_{t-1}, x)，后向过程为 p_theta(y_{t-1}|y_t, x)。
• 端点扩散分布 p(y_T|x) 为高斯分布，均值为 f_phi(x)，其中 f_phi 是一个预训练的条件均值估计器。
• 使用一个分解为 L_0、L_t-1 和 L_T 的 ELBO 目标进行训练，采用可处理的前向过程和一个学习的去噪网络 epsilon_theta。
• 对于回归，预测扩散噪声 epsilon_theta 以通过标准的 DDPM 采样步骤重构 y_0；在 E[y|x] 上对 f_phi 进行预训练。
• 对于分类，使用 one-hot 的 y_0 并将类别原型视为连续目标；通过对一个基于平方误差映射的温度加权 softmax（Eq. 10）将扩散输出转换为类别概率。
• 通过采样多次重建并分析预测区间和类别概率差异的显著性，为分类提供实例级置信度评估。

实验结果

研究问题

• RQ1 基于扩散的条件生成模型是否比加性噪声或参数化不确定性模型更准确地恢复完整的条件分布 p(y|x)？
• RQ2 CARD 是否在多模态条件分布上提供可靠的不确定性估计，并在分类中提供更细粒度的实例级置信度？
• RQ3 在标准基准上的回归和分类性能以及分布指标，与贝叶斯神经网络及相关生成方法相比如何？

主要发现

• CARD 能够准确估计 p(y|x, D)，并且在回归基准测试中在 RMSE、NLL、和 QICE 指标上常常达到最先进水平。
• 引入一种新的以分布为焦点的评估指标（QICE），用于评估学习到的分布与真实条件分布匹配的程度，特别是在多模态情况下。
• CARD 在实际的 UCI 回归数据集上表现出色，常在多个数据集和指标上名列前茅或接近最好。
• 在分类中，CARD 通过生成多次类别原型重建并评估预测区间以及类别概率差异显著性来实现实例级置信度评估。
• 该方法利用扩散输出的随机性来提供经过校准的不确定性和超越点预测的有意义的置信度度量。