[论文解读] A Data-Augmentation Is Worth A Thousand Samples: Exact Quantification From Analytical Augmented Sample Moments

Randall Balestriero, Ishan Misra+1 more|arXiv (Cornell University)|Feb 16, 2022

Image and Video Quality Assessment被引用 5

一句话总结

本文提出了一套新颖的分析框架，通过推导增强样本、损失和模型输出的期望与方差的精确闭式表达式，量化了数据增强（DA）在深度学习中的影响。研究发现，DA 诱导了一种与数据流形结构对齐的广义Tikhonov正则化，需约10,000个增强样本/原始样本才能准确估计信息量，并表明TangentProp自然地作为最小化DA采样下损失方差的最优正则化器出现。

ABSTRACT

Data-Augmentation (DA) is known to improve performance across tasks and datasets. We propose a method to theoretically analyze the effect of DA and study questions such as: how many augmented samples are needed to correctly estimate the information encoded by that DA? How does the augmentation policy impact the final parameters of a model? We derive several quantities in close-form, such as the expectation and variance of an image, loss, and model's output under a given DA distribution. Those derivations open new avenues to quantify the benefits and limitations of DA. For example, we show that common DAs require tens of thousands of samples for the loss at hand to be correctly estimated and for the model training to converge. We show that for a training loss to be stable under DA sampling, the model's saliency map (gradient of the loss with respect to the model's input) must align with the smallest eigenvector of the sample variance under the considered DA augmentation, hinting at a possible explanation on why models tend to shift their focus from edges to textures.

研究动机与目标

• 理论分析数据增强（DA）如何影响模型泛化能力和训练动态。
• 量化为准确估计DA诱导信息所需增强样本的数量。
• 推导在DA采样下模型损失和输出的敏感性（方差）。
• 识别由DA诱导的显式正则化器及其与模型优化的关系。
• 解释为何TangentProp在数据增强背景下自然地作为正则化器出现，以及能否从第一性原理推导得出。

提出的方法

• 引入数据空间变换（DST），一种矩阵-向量公式，将图像变换建模为对展平图像的线性操作。
• 推导在给定DA策略下，变换后图像、损失和模型输出的一阶矩（期望与方差）的解析表达式。
• 使用二阶泰勒展开（delta方法）近似期望损失，并推导其在DA采样下的方差。
• 依赖增强样本协方差矩阵的谱分解与模型雅可比矩阵，表征损失敏感性。
• 将损失方差与模型雅可比核空间和增强样本协方差矩阵主特征向量之间的对齐关系联系起来。
• 从损失近似出发，通过第一性原理推导，重构TangentProp作为最小化损失方差的自然正则化器。

实验结果

研究问题

• RQ1 为使模型能正确估计由单个原始样本编码的信息，需要多少增强样本？
• RQ2 数据增强策略的选择如何影响模型最终参数与泛化性能？
• RQ3 模型损失对增强数据随机采样的敏感性（方差）如何变化？其在训练过程中如何演化？
• RQ4 给定数据增强策略所诱导的显式正则化器是什么？其与数据流形结构有何关系？
• RQ5 为何TangentProp在数据增强背景下成为有效的正则化器？能否从第一性原理推导得出？

主要发现

• 为使模型能正确估计单个原始样本的信息，所需增强样本数量约为10,000个。
• 即使对数千个训练样本进行增强，也必须至少对整个数据集进行50次增强，才能确保DA策略被正确学习。
• DA诱导的显式正则化器对应一种广义Tikhonov正则化，其将模型权重矩阵的核空间与样本协方差矩阵的最大特征向量对齐。
• 当模型雅可比的核空间与增强样本协方差矩阵的主方向（最大特征向量）对齐时，DA采样下的损失方差达到最小。
• TangentProp正则化自然地作为最小化DA下损失方差的最优策略出现，其推导基于期望损失的二阶泰勒近似。
• 当模型雅可比为满秩（如ResNet架构）时，损失方差才能仅通过损失最小化实现下降，因为此时正则化已无法进一步降低方差。