[論文レビュー] Training on Thin Air: Improve Image Classification with Generated Data

Yongchao Zhou, Hshmat Sahak+1 more|arXiv (Cornell University)|May 24, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、実画像を潜在空間に逆方向に変換し、ノイズの多い潜在ベクトルに条件付けながら、Stable Diffusionを活用して高品質で多様な訓練データを生成する「Diffusion Inversion」を提案する。この手法は、ベースライン手法と比較して2–3倍のサンプル複雑性の向上と6.5倍の高速化を達成し、多様なデータセット、特に分布シフトが顕著なデータセットにおいて、プロンプトベースの生成やKNN検索を上回る性能を示す。

ABSTRACT

Acquiring high-quality data for training discriminative models is a crucial yet challenging aspect of building effective predictive systems. In this paper, we present Diffusion Inversion, a simple yet effective method that leverages the pre-trained generative model, Stable Diffusion, to generate diverse, high-quality training data for image classification. Our approach captures the original data distribution and ensures data coverage by inverting images to the latent space of Stable Diffusion, and generates diverse novel training images by conditioning the generative model on noisy versions of these vectors. We identify three key components that allow our generated images to successfully supplant the original dataset, leading to a 2-3x enhancement in sample complexity and a 6.5x decrease in sampling time. Moreover, our approach consistently outperforms generic prompt-based steering methods and KNN retrieval baseline across a wide range of datasets. Additionally, we demonstrate the compatibility of our approach with widely-used data augmentation techniques, as well as the reliability of the generated data in supporting various neural architectures and enhancing few-shot learning.

研究の動機と目的

• データが乏しい、または特殊な分野において、高品質で多様な訓練データを入手する課題に対処すること。
• 生成されたサンプルにおける分布の類似性とカバー範囲を保証することで、実データと合成データの性能格差を是正すること。
• 標準的なディープラーニングパイプラインやニューラルアーキテクチャと互換性がある、スケーラブルで効率的なデータ拡張手法を開発すること。
• 適切な条件付けとサンプリング戦略を組み合わせることで、潜在空間の逆方向変換を経由して生成された合成データが、実データを上回るモデル性能を達成できることを示すこと。

提案手法

• テキストエンコーダーの出力を用いて、実際の訓練画像をStable Diffusionの潜在空間に逆方向変換し、意味的および分布的特性を保持する。
• 逆方向変換された潜在ベクトルのノイズ入りバージョンに条件付けながら、意味的に一貫性を持ち、多様な新しい訓練画像を生成する。
• 低解像度（128×128）の画像を直接生成するための条件ベクトルを学習し、高解像度生成後にダウンサンプリングする手法と比較して、サンプリング時間を6.5倍短縮する。
• 異なる強さ（α）を設定しながら、2つの逆方向変換済み埋め込み間の潜在空間補間を用いて、中間的で多様な画像バリアントを生成する。
• 生成プロセス中に潜在ベクトルにガウスノイズを付加することで多様性を向上させ、サンプリングを延長する際の最適なノイズ強度はλ=0.2である。
• 品質、多様性、性能のバランスを図るために、推論ステップ数（100）、ノイズ強度、補間強度などのハイパーパrameterを評価・調整する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの生成モデル、例えばStable Diffusionを用いて、実データと同等またはそれを上回る性能を示す合成データを生成できるか？
• RQ2 実データを上回るサンプル複雑性と一般化性能を達成するための合成データに不可欠な要素は何か？
• RQ3 ノイズ条件付きの潜在空間逆方向変換は、プロンプトベースやKNNベースのデータ生成と比較して、分布の類似性とモデル精度の面でどのように異なるか？
• RQ4 生成されたデータは、データ分布のシフトが顕著な特殊分野において、少数のラベル付きサンプル学習や一般化性能をどの程度向上できるか？

主な発見

• Diffusion Inversionは、2–3倍のサンプル複雑性の向上を達成しており、実データで学習したモデルと比較して、より少ないサンプル数で高い精度に到達できる。
• 高解像度生成後にダウンサンプリングするのではなく、直接低解像度画像を生成することで、サンプリング時間を6.5倍短縮し、大幅に効率性が向上する。
• 生成されたデータは、LAION-5BからのKNN検索や一般的なプロンプトベースの制御と比較して、すべての評価対象データセット（特に分布シフトが顕著な医療画像分野を含む）で優れた性能を示す。
• FID、精度、再現率、カバレッジなどの指標で測定した場合、ノイズ強度λ=0.2および補間強度α≈0.1が最適であり、多様性と品質のバランスが取れている。
• 互換性のある埋め込み間の潜在空間補間は、すべてのα値で現実的で新規の画像を生成できるが、高値のαでは意味的不整合が生じるため性能が急激に低下する。
• 本手法は標準的なデータ拡張技術と互換性があり、ResNet18を含む複数のニューラルアーキテクチャにおいて、少数のラベル付きサンプル学習を向上させる。