[论文解读] Co-Mixup: Saliency Guided Joint Mixup with Supermodular Diversity

Jang-Hyun Kim, Wonho Choo+2 more|arXiv (Cornell University)|Feb 5, 2021

Advanced Neural Network Applications参考文献 37被引用 16

一句话总结

Co-Mixup 提出了一种显著性引导的、多样性正则化的批量混合方法，通过同时最大化单个混合样本的显著性与批量内整体的超模多样性，联合优化混合数据构建。该方法构建了一个新颖的子模-超模离散优化问题，并提出了一种高效的迭代算法，在 CIFAR-100、Tiny-ImageNet、ImageNet 和 Google Commands 数据集上均实现了泛化能力、校准性能以及弱监督定位任务的最先进水平。

ABSTRACT

While deep neural networks show great performance on fitting to the training distribution, improving the networks' generalization performance to the test distribution and robustness to the sensitivity to input perturbations still remain as a challenge. Although a number of mixup based augmentation strategies have been proposed to partially address them, it remains unclear as to how to best utilize the supervisory signal within each input data for mixup from the optimization perspective. We propose a new perspective on batch mixup and formulate the optimal construction of a batch of mixup data maximizing the data saliency measure of each individual mixup data and encouraging the supermodular diversity among the constructed mixup data. This leads to a novel discrete optimization problem minimizing the difference between submodular functions. We also propose an efficient modular approximation based iterative submodular minimization algorithm for efficient mixup computation per each minibatch suitable for minibatch based neural network training. Our experiments show the proposed method achieves the state of the art generalization, calibration, and weakly supervised localization results compared to other mixup methods. The source code is available at https://github.com/snu-mllab/Co-Mixup.

研究动机与目标

• 为解决现有混合方法未能充分利用训练数据中显著区域的监督信号这一局限性。
• 通过联合优化混合数据构建以实现高显著性与高多样性，提升模型泛化能力与鲁棒性。
• 构建一个原理清晰的离散优化问题，以最大化单个混合样本的显著性，同时促进整体多样性。
• 开发一种高效、适用于小批量训练的子模最小化算法，适合端到端深度学习训练。

提出的方法

• 提出一种新颖的离散优化问题，通过最小化子模函数与超模函数之间的差异，实现混合数据中显著性与多样性的平衡。
• 引入对超模项的模块化近似，使优化过程更高效且可计算。
• 采用迭代子模最小化算法，为每个小批量计算最优的混合组合。
• 利用预训练网络生成的显著性图，识别并优先处理输入数据中的显著区域。
• 通过组合多个输入中的显著区域来构建混合样本，同时保持空间与语义的一致性。
• 在训练过程中使用生成的混合数据及其软标签，以提升模型的泛化能力与校准性能。

实验结果

研究问题

• RQ1 如何最优地组合多个输入数据中的显著区域，以生成高质量的混合样本？
• RQ2 在最大化单个混合样本显著性与确保批量内多样性之间，最优权衡是什么？
• RQ3 离散子模-超模优化框架是否能够超越现有启发式混合策略，提升混合性能？
• RQ4 在显著区域之间引入排列信息如何影响模型的泛化能力与鲁棒性？
• RQ5 所提出方法在弱监督目标定位与背景干扰鲁棒性方面是否优于现有混合基线？

主要发现

• 在 ImageNet 上，Co-Mixup 的 Top-1 错误率为 20.45%，优于次佳基线（Puzzle Mix）0.74 个百分点。
• 在 CIFAR-100 上，Co-Mixup 使用四个输入时将 Top-1 错误率降低至 19.87%，显著优于所有基线，包括 Input Mixup（23.12%）和 CutMix（22.20%）。
• 在弱监督目标定位任务中，Co-Mixup 在 PASCAL VOC 2012 上达到 54.3% 的 mAP，领先次佳方法 2.1 个百分点。
• 在背景干扰鲁棒性方面，Co-Mixup 相较于原始模型，在随机替换场景下 Top-1 错误率降低 2.86%，在高斯噪声场景下降低 3.33%。
• 消融实验表明，若不施加显著性或多样性约束而混合多个输入，性能会下降，验证了所提优化框架的必要性。
• 所提出的模块化近似与迭代子模最小化算法实现了高效的计算，适用于小批量训练，支持在标准深度学习流程中实际部署。