[论文解读] A Survey of Mix-based Data Augmentation: Taxonomy, Methods, Applications, and Explainability

Chengtai Cao, Fan Zhou+3 more|arXiv (Cornell University)|Dec 21, 2022

Topic Modeling被引用 10

一句话总结

本综述对基于混合的数据增强（MixDA）进行了全面、系统的回顾，提出了一种新颖的分类法，将方法划分为基于Mixup、基于Cutmix以及混合方法三类。该综述分析了其作用机制，在计算机视觉、自然语言处理（NLP）和图学习等领域的应用，并通过泛化性、正则化和校准性等理论视角解释其成功原因。主要贡献在于为MixDA研究提供了一个统一的路线图，明确了现存挑战与未来研究方向。

ABSTRACT

Data augmentation (DA) is indispensable in modern machine learning and deep neural networks. The basic idea of DA is to construct new training data to improve the model's generalization by adding slightly disturbed versions of existing data or synthesizing new data. This survey comprehensively reviews a crucial subset of DA techniques, namely Mix-based Data Augmentation (MixDA), which generates novel samples by combining multiple examples. In contrast to traditional DA approaches that operate on single samples or entire datasets, MixDA stands out due to its effectiveness, simplicity, flexibility, computational efficiency, theoretical foundation, and broad applicability. We begin by introducing a novel taxonomy that categorizes MixDA into Mixup-based, Cutmix-based, and mixture approaches based on a hierarchical perspective of the data mixing operation. Subsequently, we provide an in-depth review of various MixDA techniques, focusing on their underlying motivations. Owing to its versatility, MixDA has penetrated a wide range of applications, which we also thoroughly investigate in this survey. Moreover, we delve into the underlying mechanisms of MixDA's effectiveness by examining its impact on model generalization and calibration while providing insights into the model's behavior by analyzing the inherent properties of MixDA. Finally, we recapitulate the critical findings and fundamental challenges of current MixDA studies while outlining the potential directions for future works. Different from previous related surveys that focus on DA approaches in specific domains (e.g., CV and NLP) or only review a limited subset of MixDA studies, we are the first to provide a systematical survey of MixDA, covering its taxonomy, methodology, application, and explainability. Furthermore, we provide promising directions for researchers interested in this exciting area.

研究动机与目标

• 为解决在多样化机器学习领域中缺乏对基于混合的数据增强（MixDA）的全面、统一综述的问题。
• 基于数据混合策略，提出一种新的分层分类法，将MixDA划分为基于Mixup、基于Cutmix以及混合方法三类。
• 对现有MixDA技术进行细致分析，突出其优势与局限性。
• 全面调研MixDA在计算机视觉、自然语言处理（NLP）、图学习、半监督学习及生成建模中的应用。
• 通过泛化性、正则化和不确定性校准等理论视角，解释MixDA成功的原因。

提出的方法

• 基于数据混合的分层视角，提出一种新的MixDA分类法：基于Mixup（全局线性插值）、基于Cutmix（局部块混合）以及混合方法。
• 通过对其核心机制的细致分析，回顾超过100种MixDA方法，包括混合比例策略、显著性引导机制以及差异度优化。
• 从经验风险最小化（ERM）的视角分析MixDA，表明混合样本可增强模型的鲁棒性与泛化能力。
• 通过与Lipschitz连续性和权重衰减的关联，分析MixDA在正则化中的作用，证明其具有互补效应。
• 通过分析MixDA如何提升模型置信度估计与预测可靠性，探究其在不确定性与校准性方面的优势。
• 发布一个精选资源库（https://github.com/ChengtaiCao/Awesome-Mix），为研究人员提供参考。

实验结果

研究问题

• RQ1 如何基于其底层数据混合策略，对MixDA方法进行系统性分类？
• RQ2 哪些关键机制与设计选择区分了基于Mixup、基于Cutmix以及混合型MixDA方法？
• RQ3 MixDA在多种机器学习任务中如何提升模型的泛化性、鲁棒性与校准性？
• RQ4 哪些理论基础可解释MixDA在减少过拟合与改善模型不确定性估计方面的成功？
• RQ5 MixDA研究中存在哪些主要未解难题与开放性问题？未来最具前景的研究方向是什么？

主要发现

• 在标准设置下，MixDA在图像分类、目标检测与分割任务中显著提升了模型的泛化性与鲁棒性，CIFAR-100数据集上准确率最高提升达2%。
• Mixup与Cutmix分别通过在特征空间中鼓励线性插值与空间局部性，有效减少过拟合，其泛化性能优于标准数据增强方法。
• MixDA与正则化技术具有显著协同效应：在CIFAR-10上使用Mixup可使权重衰减降低5倍，表明其具有互补作用。
• 在测试时增强中应用MixDA在不确定性估计方面展现出潜力，但维护训练数据缓冲区在计算上不可行，提示需发展基于代理的替代方法。
• 通过迭代混合多个样本可提升数据多样性，并能同时受益于全局（Mixup）与局部（Cutmix）视角。
• 在图学习中，由于软标签生成机制，MixDA可能加剧图神经网络（GNN）的欠自信问题，凸显其在特定领域的局限性。