[論文レビュー] Fake it till you make it: Learning transferable representations from synthetic ImageNet clones

Mert Bülent Sarıyıldız, Karteek Alahari+2 more|arXiv (Cornell University)|Dec 16, 2022

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本論文は、Stable Diffusionを用いてテキストプロンプト（クラス名のみ）から合成された画像から完全に構築されたImageNet分類モデルのトレーニングを提案する。最小限のプロンプト工学にもかかわらず、これらの合成ImageNetクローンでトレーニングされたモデルはImageNet-1Kで70.3％のトップ5精度を達成し、転移学習ベンチマークにおいて本物のデータでトレーニングされたモデルと同等の性能を示し、強力な一般化能力を示し、本物の画像モデルとの性能差を極めて小さく抑えることを実証した。

ABSTRACT

Recent image generation models such as Stable Diffusion have exhibited an impressive ability to generate fairly realistic images starting from a simple text prompt. Could such models render real images obsolete for training image prediction models? In this paper, we answer part of this provocative question by investigating the need for real images when training models for ImageNet classification. Provided only with the class names that have been used to build the dataset, we explore the ability of Stable Diffusion to generate synthetic clones of ImageNet and measure how useful these are for training classification models from scratch. We show that with minimal and class-agnostic prompt engineering, ImageNet clones are able to close a large part of the gap between models produced by synthetic images and models trained with real images, for the several standard classification benchmarks that we consider in this study. More importantly, we show that models trained on synthetic images exhibit strong generalization properties and perform on par with models trained on real data for transfer. Project page: https://europe.naverlabs.com/imagenet-sd/

研究の動機と目的

• テキストプロンプトから生成された合成画像が、本物の画像に代わって堅牢な画像分類モデルのトレーニングに使用可能かどうかを調査すること。
• 多様なベンチマークにおいて、合成ImageNetクローンにのみトレーニングされたモデルの一般化性能を評価すること。
• モデル性能に影響を及ぼす可能性がある生成画像内の意味的・ドメイン固有の問題を同定し、是正すること。
• 最小限のクラスに依存しないプロンプト工学が、合成ImageNetクローンの品質と多様性を顕著に向上させられることを示すこと。

提案手法

• Stable Diffusionを用い、ImageNet-1Kの全クラスに対してクラス名をプロンプトとして使用し、合成画像を生成する。
• 意味的整合性と視覚的多様性の向上を目的として、クラスに依存しないプロンプト変更（「非常に詳細に」および「箱の中の」を追加）を実施する。
• 本物の画像でのファインチューニングを一切行わず、合成データセット（ImageNet-1K-SD）からスクラッチでResNet-50モデルをトレーニングする。
• ImageNet-1Kバリデーション、ImageNet-A、ImageNet-R、ImageNet-Sketch、ImageNet-v2、および15の下流転移学習データセットでモデル性能を評価する。
• 画像品質およびモデル性能に与える主要な拡散ハイパーパrameter（ガイダンススケールおよび拡散ステップ数）の影響を分析する。
• 生成の忠実度を維持するため、Stable Diffusionのトレーニング分布と整合する固定解像度（512×512）を採用する。

実験結果

リサーチクエスチョン

• RQ1 テキストプロンプトから生成された合成画像のみでトレーニングされたモデルが、本物のImageNetデータでトレーニングされたモデルと同等の性能を達成できるか？
• RQ2 分布シフトや悪意ある例に対して、合成ImageNetクローンでトレーニングされたモデルは本物のデータモデルと比較してどの程度の性能を示すか？
• RQ3 分類タスクのための生成画像における意味的正確性と視覚的多様性を向上させるために、どのようなプロンプト工学戦略が有効か？
• RQ4 合成画像が、強力なゼロショットおよびフェイワショット転移学習能力をどの程度サポートできるか？

主な発見

• 合成ImageNetクローン（ImageNet-1K-SD）でトレーニングされたモデルは、ImageNet-1Kで70.3％のトップ5精度を達成し、本物のデータモデルとの差を大幅に埋めた。
• ImageNet-A、ImageNet-R、ImageNet-Sketchなどのレジリエンスベンチマークにおいて、合成モデルと本物のデータモデルの性能差が顕著に縮小された。
• 15の多様な転移学習データセットにおいて、合成データでトレーニングされたモデルは本物のデータモデルと同等の性能を示し、強力な一般化能力を示した。
• 「非常に詳細に」と「箱の中の」といったクラスに依存しないプロンプト修飾子を追加することで、生成画像の視覚的品質と意味的整合性が顕著に向上した。
• 最適な生成品質は50ステップの拡散とガイダンススケール7.5で達成され、さらにステップ数を増やしても利得は著しく減少した。
• 512×512のトレーニング解像度から逸脱すると画像品質が劣化したため、信頼性の高い生成を維持するには解像度の整合性が重要であることが確認された。