[論文レビュー] Intriguing properties of generative classifiers

Priyank Jaini, Kevin Clark+1 more|arXiv (Cornell University)|Sep 28, 2023

Generative Adversarial Networks and Image Synthesis被引用数 9

ひとこと要約

本論文は、テキスト-画像モデルからのゼロショット生成分類器が人間に近い形状バイアスを示し、OODにおけるほぼ人間レベルの精度、人的に一致する誤差パターン、視覚的錯覚の理解を示すことを示しており、いくつかの点で多くの識別モデルを上回る。

ABSTRACT

What is the best paradigm to recognize objects -- discriminative inference (fast but potentially prone to shortcut learning) or using a generative model (slow but potentially more robust)? We build on recent advances in generative modeling that turn text-to-image models into classifiers. This allows us to study their behavior and to compare them against discriminative models and human psychophysical data. We report four intriguing emergent properties of generative classifiers: they show a record-breaking human-like shape bias (99% for Imagen), near human-level out-of-distribution accuracy, state-of-the-art alignment with human classification errors, and they understand certain perceptual illusions. Our results indicate that while the current dominant paradigm for modeling human object recognition is discriminative inference, zero-shot generative models approximate human object recognition data surprisingly well.

研究の動機と目的

• 生成モデルがゼロショット設定で物体認識を行えるかどうか、そしてその挙動が識別モデルや人間とどのように比べられるか。
• 挑戦的なOODデータセットに対する生成分類器の出現的知覚特性を特徴づける。
• 生成分類器が人間の誤分類パターンに整合し、知覚的錯覚を理解しているかを調査する。
• 生成分類器の形状バイアスと頑健性を生み出す要因と、それが脳に由来する知覚への潜在的影響を探る。

提案手法

• テキスト-画像モデルをゼロショット分類器として扱い、プロンプト如きとして 'A bad photo of a y.' を用いてクラス尤度 p(x|y) を計算し、尤度が最も高いクラスを選択する。
• 拡散モデルの条件付き対数尤度を拡散変分下限（式 2）で近似する。
• Imagen（拡散）、Stable Diffusion（潜在空間での拡散）、そして Parti（自己回帰）という3つのモデル系を、model-vs-humanツールボックスの17の挑戦的なOODデータセットで評価する。
• 52件の識別ベースラインと人間の心理物理データと比較する。
• 画像をモデル固有の解像度に前処理し、固定のプロンプト方式を用いて分類決定を導出する。
• 形状バイアス、OOD精度、データセット全体での誤差一貫性を測定する。

実験結果

リサーチクエスチョン

• RQ1 ゼロショット生成分類器は、識別モデルと比べて人間に近い形状バイアスを示すか。
• RQ2 生成分類器は人間や識別モデルと比べてOOD物体認識タスクでどのように性能を示すか。
• RQ3 生成分類器は人間の分類誤差と整合し、人間に近い知覚的錯覚理解を明らかにするか。
• RQ4 拡散様式の生成モデルにおける形状バイアスと頑健性に寄与する要因は何か。

主な発見

モデル	モデルタイプ	形状バイアス	OOD精度	誤差の一貫性
Imagen (1 prompt)	zero-shot	99%	0.71	0.31
StableDiffuson (1 prompt)	zero-shot	93%	0.69	0.26
Parti (1 prompt)	zero-shot	92%	0.58	0.23
CLIP (1 prompt)	zero-shot	80%	0.55	0.26
CLIP (80 prompts)	zero-shot	57%	0.71	0.28
ViT-22B-384 trained on 4B images	discriminative	87%	0.80	0.26
ViT-L trained on IN-21K	discriminative	42%	0.73	0.21
RN-50 trained on IN-1K	discriminative	21%	0.56	0.21
RN-50 trained w/ diffusion noise	discriminative	57%	0.57	0.24
RN-50 train+eval w/ diffusion noise	discriminative	78%	0.43	0.18

• Imagenは99%の形状バイアス、ほぼ人間レベルのOOD精度、および人間と高い誤差一貫性を達成する。
• Stable Diffusionは93%の形状バイアスとImagenよりやや低いが強いOOD頑健性を達成。
• Partiは92%の形状バイアスと大きなOOD頑健性・誤差一貫性の向上を、多くのベースラインより実現。
• 生成分類器は人間の誤分類パターンを示し、複数データセットで従来のSOTA識別モデルを誤差一貫性で上回る。
• また、再構成ベースのプロンプトを通じて特定の視覚錯覚の理解を示す。
• 17のOODデータセット全体で、ゼロショット生成分類器は頑健性タスクで人間に近い性能を示す。