[论文解读] Image Data Augmentation for Deep Learning: A Survey

Suorong Yang, Weikang Xiao+4 more|arXiv (Cornell University)|Apr 19, 2022

Advanced Neural Network Applications被引用 198

一句话总结

对图像数据增强方法、分类法以及在语义分割、图像分类和目标检测等CV任务上的经验评估的全面综述。

ABSTRACT

Deep learning has achieved remarkable results in many computer vision tasks. Deep neural networks typically rely on large amounts of training data to avoid overfitting. However, labeled data for real-world applications may be limited. By improving the quantity and diversity of training data, data augmentation has become an inevitable part of deep learning model training with image data. As an effective way to improve the sufficiency and diversity of training data, data augmentation has become a necessary part of successful application of deep learning models on image data. In this paper, we systematically review different image data augmentation methods. We propose a taxonomy of reviewed methods and present the strengths and limitations of these methods. We also conduct extensive experiments with various data augmentation methods on three typical computer vision tasks, including semantic segmentation, image classification and object detection. Finally, we discuss current challenges faced by data augmentation and future research directions to put forward some useful research guidance.

研究动机与目标

• 通过解决数据稀缺以及对深度视觉学习中多样化训练数据的需求来推动本研究。
• 提出图像数据增强方法的分类法。
• 系统性评审在关键CV任务（分割、分类、检测）中的增强技术并比较它们的有效性。
• 在标准数据集上提供实证评估，以评估增强方法并为未来研究提供指导。

提出的方法

• 提出包括基本操作、擦除和混合在内的图像数据增强方法分类法。
• 将高级技术归入自动增强、特征增强和深度生成模型。
• 在语义分割、图像分类和目标检测上使用公开数据集（例如 PASCAL VOC、COCO）进行大量实验以比较增强方法。
• 讨论理论与评估挑战，并提出未来研究方向。

实验结果

研究问题

• RQ1 CV任务中存在哪些图像数据增强技术，它们如何分类？
• RQ2 不同增强方法在分割、分类和检测任务上的标准数据集上对性能有何影响？
• RQ3 当前增强方法在理论、评估、数据质量方面有哪些局限性与挑战？
• RQ4 哪些未来方向可以提升数据增强的有效性与理解？

主要发现

• 数据增强在各模型和任务中始终提升性能（例如分割中的 IoU 提升、分类中的准确性提升、检测中的 mAP 提高）。
• 广泛的分类法涵盖基础操作、擦除和混合，以及如自动增强、特征增强和基于 GAN 的方法等高级方法。
• AutoAugment、RandAugment 及相关策略相比手工设计降低搜索成本并提高效果。
• 在标准数据集上的评估显示对 CNN 架构和视觉任务有显著提升。
• Open challenges include theoretical understanding, evaluation metrics for synthetic data quality, and dataset size considerations.
• 多种增强方法的组合通常优于单一方法的设置。