[論文レビュー] Your Diffusion Model is Secretly a Zero-Shot Classifier

Alexander C. Li, Mihir Prabhudesai+3 more|arXiv (Cornell University)|Mar 28, 2023

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、Stable Diffusion や DiT などの事前学習済み条件付き拡散モデルから、微調整なしにゼロショットおよび標準的な画像分類器を抽出する手法「Diffusion Classifier」を提案する。この手法は、ELBO を用いてモデルの条件付き尤度推定を活用する。強いゼロショット精度を達成し、構成的推論において対照的ベースラインを上回り、分布シフトに対して優れた耐性を示す。

ABSTRACT

The recent wave of large-scale text-to-image diffusion models has dramatically increased our text-based image generation abilities. These models can generate realistic images for a staggering variety of prompts and exhibit impressive compositional generalization abilities. Almost all use cases thus far have solely focused on sampling; however, diffusion models can also provide conditional density estimates, which are useful for tasks beyond image generation. In this paper, we show that the density estimates from large-scale text-to-image diffusion models like Stable Diffusion can be leveraged to perform zero-shot classification without any additional training. Our generative approach to classification, which we call Diffusion Classifier, attains strong results on a variety of benchmarks and outperforms alternative methods of extracting knowledge from diffusion models. Although a gap remains between generative and discriminative approaches on zero-shot recognition tasks, our diffusion-based approach has significantly stronger multimodal compositional reasoning ability than competing discriminative approaches. Finally, we use Diffusion Classifier to extract standard classifiers from class-conditional diffusion models trained on ImageNet. Our models achieve strong classification performance using only weak augmentations and exhibit qualitatively better "effective robustness" to distribution shift. Overall, our results are a step toward using generative over discriminative models for downstream tasks. Results and visualizations at https://diffusion-classifier.github.io/

研究の動機と目的

• 事前学習済みの条件付き拡散モデルが追加の学習なしに効果的なゼロショット分類器として機能できるかを調査すること。
• 生成的モデルと判別的モデルの間の画像分類タスクにおける性能格差を埋めること。
• 生成的モデルと判別的モデルを比較し、マルチモーダルな構成的推論および耐性の観点から評価すること。
• 弱い増幅のみを用いて、DiT のようなクラス条件付き拡散モデルから標準的な分類器を抽出すること。
• 生成的モデリングが、下流タスクにおいて判別的学習の代替手段として実用的であることを示すこと。

提案手法

• この手法は、拡散モデルの変分下界（ELBO）を用いて、各クラス $\mathbf{c}$ に対する条件付き対数尤度 $\log p_{\theta}(\mathbf{x} \mid \mathbf{c})$ を近似する。
• 入力画像 $\mathbf{x}$ に対して、複数のタイムステップにわたるノイズ再構成損失（すなわち、$\epsilon$-予測損失）のモンテカルロ推定値を計算することで、$p(\mathbf{x} \mid \mathbf{c})$ を推定する。
• 一様事前分布を用いてベイズの定理を適用し、推定された尤度からクラス確率 $p(\mathbf{c} \mid \mathbf{x})$ を計算する。
• 分散を低減し、精度を向上させるために、タイムステップ全体にわたる $\ell_2$ 損失を均等に重み付ける。このアプローチは、重み付きまたは変分のみの目的関数を上回る性能を示す。
• 解像度の低減、弱い判別的モデルによるクラスのプルーニング、およびノイズ予測ステップの並列化を活用することで、高速な推論を実現する。
• 本手法は、テキストから画像へのモデル（例：Stable Diffusion）およびクラス条件付きモデル（例：DiT）に適用され、分類器が抽出される。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの拡散モデルは、微調整なしにゼロショット画像分類器として使用可能か？
• RQ2 ゼロショット認識タスクにおいて、拡散ベース分類器の性能は、最先端の判別的モデルと比べてどの程度か？
• RQ3 拡散モデルは、判別的モデルと比較して、マルチモーダルな構成的推論においてどれほど優れているか？
• RQ4 クラス条件付き拡散モデルは、最小限のデータ増幅のみを用いて、頑健で高精度な標準分類器を抽出できるか？
• RQ5 拡散モデルの設計（例：潜在空間対ピixeL空間、テキストエンコーダーの選択）は、得られる分類器の性能にどのように影響するか？

主な発見

• Diffusion Classifier は、Stable Diffusion を用いて ImageNet で 77.5% のゼロショット精度を達成し、他の知識抽出手法を上回る。
• Winoground ベンチマークでは、最も強力な対照的ベースラインを著しく上回るマルチモーダルな構成的推論性能を示す。
• DiT（ImageNet で学習されたクラス条件付き拡散モデル）を用いた場合、弱い増幅のみで 79.1% のトップ1精度を達成する。
• 得られた分類器は、同じデータで学習された競合する判別的モデルよりも「効果的な耐性」を示し、分布シフトに対して優れた性能を発揮する。
• タイムステップ全体にわたる $\ell_2$ 損失を均等に重み付けることで、変分下界や組み合わせ目的関数を上回る最良の性能が得られる。
• 解像度を低減（例：$256^2$ または $128^2$）するか、弱い判別的モデルを用いて初期に不適切なクラスをプルーニングすることで、推論を高速化できる。