[논문 리뷰] CARD: Classification and Regression Diffusion Models

Xizewen Han, Huangjie Zheng외 1명|arXiv (Cornell University)|2022. 06. 15.

Bayesian Methods and Mixture Models인용 수 33

한 줄 요약

CARD는 확산 기반의 조건부 생성 모델링과 사전 학습된 조건 평균 추정기를 결합하여 전체 조건부 분포 p(y|x)를 회복하며, 회귀 벤치마크에서 최첨단 성과를 달성하고 분류에 대한 인스턴스 수준의 모델 신뢰도를 제공합니다.

ABSTRACT

Learning the distribution of a continuous or categorical response variable $\boldsymbol y$ given its covariates $\boldsymbol x$ is a fundamental problem in statistics and machine learning. Deep neural network-based supervised learning algorithms have made great progress in predicting the mean of $\boldsymbol y$ given $\boldsymbol x$, but they are often criticized for their ability to accurately capture the uncertainty of their predictions. In this paper, we introduce classification and regression diffusion (CARD) models, which combine a denoising diffusion-based conditional generative model and a pre-trained conditional mean estimator, to accurately predict the distribution of $\boldsymbol y$ given $\boldsymbol x$. We demonstrate the outstanding ability of CARD in conditional distribution prediction with both toy examples and real-world datasets, the experimental results on which show that CARD in general outperforms state-of-the-art methods, including Bayesian neural network-based ones that are designed for uncertainty estimation, especially when the conditional distribution of $\boldsymbol y$ given $\boldsymbol x$ is multi-modal. In addition, we utilize the stochastic nature of the generative model outputs to obtain a finer granularity in model confidence assessment at the instance level for classification tasks.

연구 동기 및 목표

• 전체 조건부 분포 p(y|x)를 회복하는 필요성 강조: 특히 다모달 또는 불확실한 결과에 대해 조건 평균 추정만으로는 부족합니다.
• CARD를 소개합니다. 공변량 의존성과 사전 학습된 평균 추정기를 주입하는 확산 기반 조건부 생성 모델입니다.
• CARD가 p(y|x, D)를 정확히 추정하고 벤치마크에서 최첨단 불확실성 추정 방법을 능가한다는 것을 보입니다.
• 분포 인지 평가 지표를 새롭게 제시하고 분류 작업에서 인스턴스 수준의 모델 신뢰도를 입증합니다.

제안 방법

• CARD를 순방향 프로세스 q(y_t|y_{t-1}, x)와 역방향 프로세스 p_theta(y_{t-1}|y_t, x)을 갖는 디노이징 확산 확률 모델로 형식화합니다.
• 끝점 확산 분포 p(y_T|x)는 평균 f_phi(x)인 Gaussian이며, f_phi는 사전 학습된 조건부 평균 추정기입니다.
• 해석 가능한 순방향 프로세스와 학습된 디노이징 네트워크 epsilon_theta를 사용하여 L_0, L_{t-1}, L_T로 분해되는 ELBO 목표로 학습합니다.
• 회귀의 경우 표준 DDPM 샘플링 단계로 y_0를 재구성하기 위해 확산 노이즈 epsilon_theta를 예측합니다. f_phi는 E[y|x]에서 사전 학습합니다.
• 분류의 경우 y_0를 원-핫으로 사용하고 클래스 프로토타입을 연속 타깃으로 간주합니다. diffusion 출력은 제곱 오차 기반 매핑(Eq. 10)을 통한 온도 가중 Softmax로 클래스 확률로 변환합니다.
• 인스턴스 수준의 분류 신뢰도 평가를 제공하기 위해 다중 재구성을 샘플링하고 예측 구간 및 확률 차이의 유의성을 분석합니다.

실험 결과

연구 질문

• RQ1 확산 기반의 조건부 생성 모델이 합산 잡음이나 매개변수적 불확실성 모델보다 전체 조건부 분포 p(y|x)를 더 정확하게 회복할 수 있습니까?
• RQ2 CARD가 다모달 조건부 분포에 대해 신뢰할 수 있는 불확실성 추정치를 제공하고 분류에서 더 미세한 인스턴스 수준의 신뢰도를 제공합니까?
• RQ3 표준 벤치마크에서 회귀 및 분류 성능과 분포 지표가 베이지안 신경망 및 관련 생성적 접근법과 어떻게 비교됩니까?

주요 결과

• CARD는 p(y|x, D)를 정확히 추정하며 RMSE, NLL, QICE 지표에서 회귀 벤치마크에서 종종 최첨단 성과를 달성합니다.
• 학습된 분포가 True conditional distribution과 얼마나 잘 일치하는지 평가하기 위한 새로운 분포 중심 평가 지표(QICE)가 도입됩니다. 특히 다모달인 경우에 유용합니다.
• CARD는 실제 세계의 UCI 회귀 데이터셋에서 강력한 성능을 보이며 여러 데이터셋과 지표에서 종종 최상위 또는 근사 최상위를 차지합니다.
• 분류에서 CARD는 다중 클래스 프로토타입 재구성을 생성하고 예측 구간 및 클래스 확률 차이의 유의성을 평가하여 인스턴스 수준의 신뢰성 평가를 가능하게 합니다.
• 이 방법은 확산 출력의 확률적 특성을 활용하여 교정된 불확실성과 점 추정치를 넘어서는 의미 있는 신뢰도 측정을 제공합니다.