[論文レビュー] Cap2Aug: Caption guided Image to Image data Augmentation

Aniket Roy, Anshul Shah+3 more|arXiv (Cornell University)|Dec 11, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

Cap2Augは、画像キャプションをテキストプロンプトとして用い、安定拡散モデルを介して意味的に多様で現実的なトレーニングサンプルを生成する、画像対画像のデータ拡張手法を提案する。ドメインシフトを低減するため、最大平均差分（MMD）損失と組み合わせることで、少データ環境下でも最先端の性能を達成し、少サンプル学習およびロングテール画像分類において優れた結果を示す。

ABSTRACT

Visual recognition in a low-data regime is challenging and often prone to overfitting. To mitigate this issue, several data augmentation strategies have been proposed. However, standard transformations, e.g., rotation, cropping, and flipping provide limited semantic variations. To this end, we propose Cap2Aug, an image-to-image diffusion model-based data augmentation strategy using image captions as text prompts. We generate captions from the limited training images and using these captions edit the training images using an image-to-image stable diffusion model to generate semantically meaningful augmentations. This strategy generates augmented versions of images similar to the training images yet provides semantic diversity across the samples. We show that the variations within the class can be captured by the captions and then translated to generate diverse samples using the image-to-image diffusion model guided by the captions. However, naive learning on synthetic images is not adequate due to the domain gap between real and synthetic images. Thus, we employ a maximum mean discrepancy (MMD) loss to align the synthetic images to the real images for minimizing the domain gap. We evaluate our method on few-shot and long-tail classification tasks and obtain performance improvements over state-of-the-art, especially in the low-data regimes.

研究の動機と目的

• 標準的な幾何変換を超えた意味的な意味を持つデータ拡張を生成することで、低データ環境下での過学習の問題に取り組む。
• 事前学習済みのビジョン・ランゲージモデルと拡散モデルを活用し、自然言語記述に従った多様で現実的な画像変種を生成する。
• 最大平均差分（MMD）損失を用いて特徴分布を一致させることで、実画像と合成画像の間のドメインギャップを低減する。
• 意味的に豊富なキャプションガイドド画像生成を通じて、少サンプルおよびロングテール分類性能を向上させる。
• 標準ベンチマーク上で手法を検証し、特に細分化認識タスクにおける失敗事例を分析する。

提案手法

• 意味的属性を捉えるために、事前学習済みの画像キャプションモデルを用いてトレーニング画像のキャプションを生成する。
• オリジナルの画像とそのキャプションをテキストプロンプトとして条件付けた画像対画像の安定拡散モデルを用い、拡張画像を生成する。
• 異なる画像に別の画像のキャプションを用いることで、クロスキャプション生成を可能にし、クラス間の意味的多様性を向上させる。
• マルチカーネル最大平均差分（MMD）損失を適用し、合成画像の特徴分布と実画像の特徴分布を一致させ、ドメインシフトを最小限に抑える。
• 実画像と拡張画像の組み合わせデータセット上で分類器をファインチューニングし、一般化性能を向上させる。
• アブレーションスタディを実施し、キャプション生成、画像対画像生成、MMD損失の各コンponentの寄与度を検証する。

実験結果

リサーチクエスチョン

• RQ1 標準的な幾何変換と比較して、キャプションガイドド画像対画像生成は、より意味的に多様で現実的なデータ拡張を可能にするか？
• RQ2 MMDに基づくドメインアライメントは、実画像と合成画像の間の性能ギャップをどれほど低減できるか？
• RQ3 Cap2Augは、最先端の手法と比較して、少サンプルおよびロングテール分類の正確性を向上させるか？
• RQ4 どのような状況でこの手法は失敗するのか、特に細分化認識タスクにおいては？
• RQ5 ある画像のキャプションを別の画像に適用するクロスキャプション生成は、モデルの一般化性能を顕著に向上させるか？

主な発見

• Cap2Augは11の少サンプル学習ベンチマークで最先端の性能を達成し、5-way 5-shot設定では平均正確度92.80%を記録し、先行手法を上回った。
• ロングテール分類のためのImageNet-LTベンチマークにおいても、Cap2Augは既存のSOTA手法を上回り、ロングテールデータ環境下での有効性を示した。
• MMDに基づくドメインアライメントはドメインギャップを顕著に低減し、実画像と合成画像を組み合わせた際の一般化性能を向上させた。
• アブレーションスタディの結果、キャプションガイドド画像生成とMMD損失の両方が、性能向上に不可欠なコンponentであることが確認された。
• 失敗事例は、FGVC-Aircraft や Food101 といった細分化認識タスクで観察され、キャプションが重要な視覚的差異を捉えられず、誤った拡張が生じた。
• 1ショット学習には有効でないことが判明し、画像の多様性が不十分なため、2ショット以降での評価が行われた。