[论文解读] Cap2Aug: Caption guided Image to Image data Augmentation

Aniket Roy, Anshul Shah+3 more|arXiv (Cornell University)|Dec 11, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

Cap2Aug 提出了一种新颖的图像到图像数据增强方法，利用图像字幕作为文本提示，通过稳定扩散模型生成语义多样且逼真的训练样本。通过将基于字幕的图像生成与最大均值差异（MMD）损失结合以减少域偏移，该方法在少样本和长尾图像分类任务中实现了最先进性能，尤其在低数据设置下表现突出。

ABSTRACT

Visual recognition in a low-data regime is challenging and often prone to overfitting. To mitigate this issue, several data augmentation strategies have been proposed. However, standard transformations, e.g., rotation, cropping, and flipping provide limited semantic variations. To this end, we propose Cap2Aug, an image-to-image diffusion model-based data augmentation strategy using image captions as text prompts. We generate captions from the limited training images and using these captions edit the training images using an image-to-image stable diffusion model to generate semantically meaningful augmentations. This strategy generates augmented versions of images similar to the training images yet provides semantic diversity across the samples. We show that the variations within the class can be captured by the captions and then translated to generate diverse samples using the image-to-image diffusion model guided by the captions. However, naive learning on synthetic images is not adequate due to the domain gap between real and synthetic images. Thus, we employ a maximum mean discrepancy (MMD) loss to align the synthetic images to the real images for minimizing the domain gap. We evaluate our method on few-shot and long-tail classification tasks and obtain performance improvements over state-of-the-art, especially in the low-data regimes.

研究动机与目标

• 为解决在低数据设置下过拟合的问题，通过生成超越标准几何变换的语义有意义的数据增强。
• 利用预训练的视觉-语言模型与扩散模型，基于自然语言描述生成多样化且逼真的图像变化。
• 通过使用最大均值差异（MMD）损失对齐真实图像与合成图像的特征分布，减少两者之间的域差距。
• 通过语义丰富、基于字幕引导的图像生成，提升少样本和长尾分类性能。
• 在标准基准上验证该方法，并分析失败案例，尤其关注细粒度识别任务中的表现。

提出的方法

• 使用预训练的图像字幕模型为训练图像生成字幕，以捕捉语义属性。
• 利用图像到图像的稳定扩散模型，通过同时以原始图像和其字幕作为文本提示进行条件生成，实现图像增强。
• 通过使用一张图像的字幕来增强另一张不同的图像，实现跨字幕生成，从而提升类间语义多样性。
• 应用多核最大均值差异（MMD）损失，对齐合成图像与真实图像的特征分布，最小化域偏移。
• 在真实图像与增强图像的合并数据集上微调分类器，以提升泛化能力。
• 通过消融研究验证字幕生成、图像到图像生成以及 MMD 损失各组件的贡献。

实验结果

研究问题

• RQ1 与标准几何增强相比，基于字幕引导的图像到图像生成是否能产生更具语义多样性和真实感的数据增强？
• RQ2 基于 MMD 的域对齐在缩小真实图像与合成图像之间性能差距方面有多有效？
• RQ3 与最先进方法相比，Cap2Aug 是否能提升少样本和长尾分类的准确率？
• RQ4 该方法在哪些场景下会失效，尤其是在细粒度识别任务中？
• RQ5 跨字幕生成（即使用一张图像的字幕来编辑另一张图像）是否能显著提升模型泛化能力？

主要发现

• Cap2Aug 在 11 个少样本学习基准上达到最先进性能，在 5 类 5 样本设置下的平均准确率达到 92.80%，优于先前方法。
• 在用于长尾分类的 ImageNet-LT 基准上，Cap2Aug 相较于现有 SOTA 方法表现更优，证明了其在长尾数据分布下的有效性。
• 基于 MMD 的域对齐显著减少了域差距，在结合真实与合成图像时提升了泛化性能。
• 消融研究证实，基于字幕的图像生成与 MMD 损失均为性能提升的关键组件。
• 失败案例出现在细粒度分类任务中，如 FGVC-Aircraft 和 Food101，此时字幕未能捕捉关键视觉差异，导致生成误导性增强样本。
• 由于图像多样性不足，该方法在 1-shot 学习中效果不佳，因此评估从 2-shot 开始。