[论文解读] Affinity and Diversity: Quantifying Mechanisms of Data Augmentation

Raphael Gontijo-Lopes, Sylvia Smullin+2 more|arXiv (Cornell University)|Feb 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 58被引用 53

一句话总结

论文提出了 Affinity 和 Diversity 作为模型感知的指标，用以量化数据增强对泛化的影响，结果显示最优的增强在两者之间取得平衡并增加有效训练集规模；在训练中途关闭增强可能进一步提升性能。

ABSTRACT

Though data augmentation has become a standard component of deep neural network training, the underlying mechanism behind the effectiveness of these techniques remains poorly understood. In practice, augmentation policies are often chosen using heuristics of either distribution shift or augmentation diversity. Inspired by these, we seek to quantify how data augmentation improves model generalization. To this end, we introduce interpretable and easy-to-compute measures: Affinity and Diversity. We find that augmentation performance is predicted not by either of these alone but by jointly optimizing the two.

研究动机与目标

• 激发理解数据增强如何超越分布偏移启发式来提升泛化的需求。
• 提出可解释的指标（Affinity 和 Diversity），以量化增强效果。
• 在 CIFAR-10 与 ImageNet 上评估大量增强，旨在将这些指标与性能联系起来。
• 显示将 Affinity 与 Diversity 结合起来能比单一指标更好地解释增强的收益。
• 研究增强调度的作用及其与正则化效应的关系。

提出的方法

• 将 Affinity 定义为在经过增强的数据验证集上测试的准确率与干净验证集上的准确率之差。
• 将 Diversity 定义为对训练数据进行随机增强后的期望训练损失。
• 进行大规模实验（在 CIFAR-10 上 204 种增强；在 ImageNet 上 223 种），使用动态增强和单变换基线。
• 将增强性能与 Affinity–Diversity 平面对比，以预测最终测试准确率。
• 分析在训练中段关闭增强的效果（Switch-off Lift），以加速训练并提高最终准确率。

实验结果

研究问题

• RQ1 Affinity 与 Diversity 如何各自与增强引起的性能提升相关？
• RQ2 增强在同时优化 Affinity 与 Diversity 时是否表现最好？
• RQ3 是否在训练中途关闭增强能够提升最终性能，以及在何种条件下？
• RQ4 提高的有效训练集大小（多样性）对跨数据集的增强收益是否至关重要？
• RQ5 静态与动态增强如何影响性能和多样性？],
• RQ6 key_findings([

主要发现

• 性能并不是仅由 Affinity 或 Diversity 决定；最优的增强策略在于同时最大化这两个指标。
• 较高 Diversity 往往与更高的准确率相关，且在固定 Affinity 的情况下，较高的 Affinity 往往有助于性能。
• 一个增强的好处与增加总的独特训练样本数量相关；静态增强相较于动态增强表现不佳。
• 在训练中关闭增强可获得“Switch-off Lift”，有时甚至超过干净基线。
• 增强的收益与其他正则化方法有相似之处，适时关闭正则化可以加速训练并提高最终准确率。
• 在 CIFAR-10 与 ImageNet 上，Affinity 与 Diversity 的结合比任一指标单独使用时对增强有用性的预测更清晰。