[논문 리뷰] Your Diffusion Model is Secretly a Zero-Shot Classifier

Alexander C. Li, Mihir Prabhudesai외 3명|arXiv (Cornell University)|2023. 03. 28.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 Stable Diffusion 및 DiT와 같은 사전 훈련된 조건부 확산 모델에서 추가 훈련 없이도 영감을 얻은 확산 모델의 조건부 우도 추정을 통해 영감 없는 및 표준 이미지 분류기를 추출하는 Diffusion Classifier를 제안한다. 이 방법은 ELBO를 활용한다. 강력한 영감 없는 정확도를 달성하며, 조합적 추론에서 대조 기반 기준을 능가하고, 분포 이탈에 대해 뛰어난 강건성을 보인다.

ABSTRACT

The recent wave of large-scale text-to-image diffusion models has dramatically increased our text-based image generation abilities. These models can generate realistic images for a staggering variety of prompts and exhibit impressive compositional generalization abilities. Almost all use cases thus far have solely focused on sampling; however, diffusion models can also provide conditional density estimates, which are useful for tasks beyond image generation. In this paper, we show that the density estimates from large-scale text-to-image diffusion models like Stable Diffusion can be leveraged to perform zero-shot classification without any additional training. Our generative approach to classification, which we call Diffusion Classifier, attains strong results on a variety of benchmarks and outperforms alternative methods of extracting knowledge from diffusion models. Although a gap remains between generative and discriminative approaches on zero-shot recognition tasks, our diffusion-based approach has significantly stronger multimodal compositional reasoning ability than competing discriminative approaches. Finally, we use Diffusion Classifier to extract standard classifiers from class-conditional diffusion models trained on ImageNet. Our models achieve strong classification performance using only weak augmentations and exhibit qualitatively better "effective robustness" to distribution shift. Overall, our results are a step toward using generative over discriminative models for downstream tasks. Results and visualizations at https://diffusion-classifier.github.io/

연구 동기 및 목표

• 사전 훈련된 조건부 확산 모델이 추가 훈련 없이 효과적인 영감 없는 분류기로 기능할 수 있는지 조사하기 위해.
• 이미지 분류 작업에서 생성 모델과 판별 모델 간의 성능 격차를 해소하기 위해.
• 생성 모델과 판별 모델 간의 다중모odal 조합적 추론 및 강건성의 성능을 평가하기 위해.
• 약한 증강만을 사용하여 DiT와 같은 클래스 조건부 확산 모델에서 표준 분류기를 추출하기 위해.
• 생성 모델링이 최종 작업을 위한 판별 학습의 타당한 대안이 될 수 있음을 보여주기 위해.

제안 방법

• 이 방법은 각 클래스 $\mathbf{c}$에 대해 조건부 로그우도 $\log p_{\theta}(\mathbf{x} \mid \mathbf{c})$를 근사하기 위해 확산 모델의 변분 하한(ELBO)을 사용한다.
• 입력 이미지 $\mathbf{x}$에 대해, 여러 타임스텝에 걸쳐 예측된 노이즈 재구성 손실(즉, $\epsilon$-예측 손실)의 몬테 카를로 추정치를 계산하여 $p(\mathbf{x} \mid \mathbf{c})$를 추정한다.
• 균일한 사전 확률을 사용하여 베이즈 정리 적용으로 추정된 우도에서 클래스 확률 $p(\mathbf{c} \mid \mathbf{x})$를 계산한다.
• 타임스텝 간에 $\ell_2$ 손실을 균일하게 가중하여 분산을 줄이고 정확도를 향상시키며, 가중치가 있는 또는 변분 전용 목표함수보다 성능이 뛰어나다.
• 해상도 감소, 약한 판별 모델을 통한 클래스 프루닝, 노이즈 예측 단계의 병렬 처리를 통해 빠른 추론을 가능하게 한다.
• 이 방법은 텍스트-이미지 모델(예: Stable Diffusion)과 클래스 조건부 모델(예: DiT) 모두에 적용되어 분류기를 추출한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 확산 모델을 추가 훈련 없이 영감 없는 이미지 분류기로 사용할 수 있는가?
• RQ2 영감 없는 인식 작업에서 확산 기반 분류기의 성능이 최신 판별 모델과 비교해 어떻게 되는가?
• RQ3 확산 모델이 판별 모델보다 다중모달 조합적 추론 능력에서 얼마나 더 뛰어나게 나타나는가?
• RQ4 클래스 조건부 확산 모델을 사용하여 최소한의 데이터 증강만으로 강건하고 높은 정확도의 표준 분류기를 추출할 수 있는가?
• RQ5 확산 모델의 설계(예: 잠재공간 대 픽셀 공간, 텍스트 인코더 선택)가 최종 분류기 성능에 어떻게 영향을 미치는가?

주요 결과

• Diffusion Classifier는 Stable Diffusion를 사용하여 ImageNet에서 77.5%의 영감 없는 정확도를 달성하며, 다른 지식 추출 방법보다 뛰어나다.
• Winoground 벤치마크에서, 다중모달 조합적 추론에서 가장 강력한 대조 기반 기준을 크게 능가한다.
• ImageNet에서 훈련된 클래스 조건부 확산 모델인 DiT를 사용할 경우, 약한 증강만으로도 79.1%의 top-1 정확도를 달성한다.
• 결과로 도출된 분류기는 동일한 데이터로 훈련된 경쟁하는 판별 모델보다 분포 이탈에 대해 더 뛰어난 '효과적 강건성'을 보인다.
• 타임스텝 간에 $\ell_2$ 손실을 균일하게 가중하는 것이 변분 하한 또는 병합 목표함수보다 최고의 성능을 내며, 이는 우수한 성능 향상을 이끈다.
• 해상도를 감소시켜서(예: $256^2$ 또는 $128^2$) 또는 약한 판별 모델을 사용해 초기에 불가능한 클래스를 프루닝함으로써 추론 속도를 높일 수 있다.