[论文解读] Does Data Augmentation Lead to Positive Margin?

Shashank Rajput, Zhili Feng+3 more|arXiv (Cornell University)|May 8, 2019

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文研究数据增强（DA）是否能可证明地在经验风险最小化器中强制实现正边际。结果表明，对于线性模型及某些非线性模型，要实现非零边际，数据增强需要指数级数量的增强样本。关键结论是，常用的数据增强技术仅在添加指数级数量的样本后才能实现显著边际，凸显了其在鲁棒性保证方面的根本局限性。

ABSTRACT

Data augmentation (DA) is commonly used during model training, as it significantly improves test error and model robustness. DA artificially expands the training set by applying random noise, rotations, crops, or even adversarial perturbations to the input data. Although DA is widely used, its capacity to provably improve robustness is not fully understood. In this work, we analyze the robustness that DA begets by quantifying the margin that DA enforces on empirical risk minimizers. We first focus on linear separators, and then a class of nonlinear models whose labeling is constant within small convex hulls of data points. We present lower bounds on the number of augmented data points required for non-zero margin, and show that commonly used DA techniques may only introduce significant margin after adding exponentially many points to the data set.

研究动机与目标

• 理解数据增强（DA）是否能可证明地在经验风险最小化器中强制实现正边际。
• 分析数据增强在通过边际最大化提升分类器鲁棒性方面的理论极限。
• 推导在线性与非线性模型中实现非零边际所需增强数据点数量的下界。
• 研究在高维空间中，数据增强在何种条件下可产生大边际分类器。
• 评估标准数据增强技术（如随机噪声或对抗性扰动）通过边际强制实现鲁棒性的有效性。

提出的方法

• 使用经验风险最小化（ERM）在增强数据集上，采用0/1损失形式化问题。
• 将边际定义为在给定p-范数下，训练点到决策边界的最小距离。
• 分析线性分类器及一类预测值在数据点小凸包内恒定的非线性模型。
• 推导在d维空间中保证正边际所需增强数据点数量的下界。
• 利用单位球面上的随机向量与凸包，通过概率几何论证来界定边际。
• 应用高维概率中的结果（如Klartag & Kozma, 2009；Alonso-Gutierrez, 2008），证明以高概率，边际被有界于√(log(N/d)/d) × r量级的项。

实验结果

研究问题

• RQ1 数据增强是否能可证明地在经验风险最小化器中强制实现非零边际？
• RQ2 在何种最小增强数据点数量下，可确保在线性与非线性模型中实现正边际？
• RQ3 输入空间的维度如何影响通过数据增强实现边际的样本复杂度？
• RQ4 常用的数据增强技术（如随机噪声或对抗性扰动）是否足以提升边际？
• RQ5 在何种条件下数据增强可产生大边际分类器，又在何种情况下会失效？

主要发现

• 对于d维空间中线性可分的数据，任何数据增强策略下，至少需要d+1个增强数据点才能保证正边际。
• 常用的数据增强技术仅在相对于输入维度呈指数级增加增强点数量后，才能强制实现显著边际。
• 在增强数据上训练的分类器的边际以高概率被有界于√(C₁ log(2N/d)/d) × r，其中N为增强点数量，r为扰动半径。
• 当扰动半径r较小且数据已良好分离时，可实现的最大边际被限制为正负类别间距离的一半。
• 当ε < d(X₊,X₋)/2时，存在一个属于ε-尊重类的分类器，其边际恰好为d(X₊,X₋)/2，表明理论上的上界是紧致的。
• 边际被所推导表达式有界的概率至少为1−2exp(−C₂d log(N/d))，表明在N/d较大时，该边界具有高度置信度。