[論文レビュー] CARD: Classification and Regression Diffusion Models

Xizewen Han, Huangjie Zheng+1 more|arXiv (Cornell University)|Jun 15, 2022

Bayesian Methods and Mixture Models被引用数 33

ひとこと要約

CARDは拡散ベースの条件付き生成モデルと事前学習済みの条件付き平均推定器を組み合わせて、完全な条件付き分布 p(y|x) を回復し、回帰ベンチマークで最先端の結果を達成するとともに、分類におけるインスタンスレベルのモデル信頼性を提供します。

ABSTRACT

Learning the distribution of a continuous or categorical response variable $\boldsymbol y$ given its covariates $\boldsymbol x$ is a fundamental problem in statistics and machine learning. Deep neural network-based supervised learning algorithms have made great progress in predicting the mean of $\boldsymbol y$ given $\boldsymbol x$, but they are often criticized for their ability to accurately capture the uncertainty of their predictions. In this paper, we introduce classification and regression diffusion (CARD) models, which combine a denoising diffusion-based conditional generative model and a pre-trained conditional mean estimator, to accurately predict the distribution of $\boldsymbol y$ given $\boldsymbol x$. We demonstrate the outstanding ability of CARD in conditional distribution prediction with both toy examples and real-world datasets, the experimental results on which show that CARD in general outperforms state-of-the-art methods, including Bayesian neural network-based ones that are designed for uncertainty estimation, especially when the conditional distribution of $\boldsymbol y$ given $\boldsymbol x$ is multi-modal. In addition, we utilize the stochastic nature of the generative model outputs to obtain a finer granularity in model confidence assessment at the instance level for classification tasks.

研究の動機と目的

• 条件付き平均推定だけではなく、特に多モードまたは不確かな結果に対して、完全な条件付き分布 p(y|x) を回復する必要性を動機づける。
• 共変量依存性を注入し、事前学習済みの平均推定器を組み込んだ拡散ベースの条件付き生成モデルである CARD を導入する。
• CARD が p(y|x, D) を正確に推定し、ベンチマーク上で最先端の不確実性推定法を上回ることを示す。
• 新しい分布意識的評価指標を提供し、分類タスクにおけるインスタンスレベルのモデル信頼度を実証する。

提案手法

• 前向過程 q(y_t|y_{t-1}, x) と逆過程 p_theta(y_{t-1}|y_t, x) を持つノイズ除去拡散確率モデルとして CARD を定式化する。
• エンドポイント拡散分布 p(y_T|x) は平均 f_phi(x) のガウス分布であり、f_phi は事前学習済みの条件付き平均推定器である。
• ELBO 目的を L_0, L_t-1, L_T の項に分解して訓練するために、 tractable forward process と学習済みデノイジングネットワーク epsilon_theta を用いる。
• 回帰では、拡散ノイズ epsilon_theta を予測して y_0 を標準的な DDPM サンプリング手順で再構成する。f_phi は E[y|x] で事前学習する。
• 分類では y_0 を one-hot としてクラスプロトタイプを連続ターゲットとして扱い、拡散出力を平方誤差ベースのマッピング（Eq. 10）に温度を掛けた softmax を介してクラス確率に変換する。
• 分類に対して、複数の再構成をサンプリングし予測区間と確率差の分析を行うことで、インスタンスレベルの信頼度評価を提供する。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースの条件付き生成モデルは、加法ノイズやパラメトリックな不確実性モデルよりも、完全な条件付き分布 p(y|x) をより正確に回復できるのか？
• RQ2 CARD は多モーダルな条件付き分布に対して信頼できる不確実性推定を提供し、分類においてより細かなインスタンスレベルの信頼度を提供するか？
• RQ3 標準ベンチマークにおける回帰と分類の性能および分布指標は、ベイズニューラルネットワークおよび関連する生成的アプローチとどのように比較されるか？

主な発見

• CARD は p(y|x, D) を正確に推定し、しばしば RMSE、NLL、QICE 指標で回帰ベンチマークの最先端結果を達成する。
• 学習された分布が真の条件付き分布とどれだけ一致するかを評価する新しい分布重視の評価指標（QICE）を導入し、特に多モーダルなケースで評価する。
• CARD は実世界の UCI 回帰データセットで強力な性能を示し、複数のデータセットと指標でしばしば最良またはほぼ最良の順位を取る。
• 分類では、複数のクラスプロトタイプ再構成を生成し、予測区間とクラス確率差の有意性を評価することでインスタンスレベルの信頼度評価を可能にする。
• このアプローチは拡散出力の確率性を利用して、点推定を超えたキャリブレーションされた不確実性と意味のある信頼度指標を提供する。