[论文解读] AutoMix: Unveiling the Power of Mixup for Stronger Classifiers

Zicheng Liu, Siyuan Li+5 more|arXiv (Cornell University)|Mar 24, 2021

Advanced Neural Network Applications被引用 4

一句话总结

AutoMix 提出了一种端到端的双层优化框架，可自动学习自适应的混合策略，以提升图像分类性能。通过引入可学习的混合模块（Mix Block）和动量流水线（Momentum Pipeline），将混合样本生成与分类任务解耦，AutoMix 在九个基准数据集上实现了最先进性能，且计算开销极低，优于以往的手动设计和基于优化的混合方法。

ABSTRACT

Data mixing augmentation have proved to be effective in improving the generalization ability of deep neural networks. While early methods mix samples by hand-crafted policies (e.g., linear interpolation), recent methods utilize saliency information to match the mixed samples and labels via complex offline optimization. However, there arises a trade-off between precise mixing policies and optimization complexity. To address this challenge, we propose a novel automatic mixup (AutoMix) framework, where the mixup policy is parameterized and serves the ultimate classification goal directly. Specifically, AutoMix reformulates the mixup classification into two sub-tasks (i.e., mixed sample generation and mixup classification) with corresponding sub-networks and solves them in a bi-level optimization framework. For the generation, a learnable lightweight mixup generator, Mix Block, is designed to generate mixed samples by modeling patch-wise relationships under the direct supervision of the corresponding mixed labels. To prevent the degradation and instability of bi-level optimization, we further introduce a momentum pipeline to train AutoMix in an end-to-end manner. Extensive experiments on nine image benchmarks prove the superiority of AutoMix compared with state-of-the-art in various classification scenarios and downstream tasks.

研究动机与目标

• 解决混合数据增强中精确混合策略与高优化复杂度之间的权衡问题。
• 将混合样本生成与分类任务统一为一个可端到端训练的框架。
• 通过解耦生成与分类子网络的训练，提升模型的泛化能力和稳定性。
• 摆脱对手动设计或显著性引导混合策略的依赖，转而采用可学习的、任务驱动的策略。
• 在不增加推理成本的前提下，实现对多样化数据集和网络架构的优越性能。

提出的方法

• AutoMix 将混合训练重构为两个子任务：混合样本生成与混合分类，通过双层优化框架求解。
• 引入一个可学习的轻量化模块——Mix Block，通过在成对输入的特征图上使用交叉注意力机制，建模局部区域间的关系，从而生成混合样本。
• Mix Block 在对应混合标签的直接监督下进行训练，以确保与分类目标的一致性。
• 提出动量流水线（Momentum Pipeline）以解耦并稳定双层优化过程，防止梯度纠缠与模型坍塌。
• 框架以端到端方式联合优化 Mix Block 与分类头，其中超参数 α（Beta 分布）和特征层 l 用于控制混合策略。
• 通过直接优化混合策略以逼近分类损失，避免了昂贵的组合优化过程。

实验结果

研究问题

• RQ1 端到端可学习的混合策略是否能在准确率与效率上超越手工设计和显著性引导的混合方法？
• RQ2 如何有效解耦混合样本生成与分类训练，以提升训练稳定性和性能？
• RQ3 不同特征层与混合比例分布对 AutoMix 泛化能力有何影响？
• RQ4 所提出的动量流水线是否能有效稳定生成与分类任务的双层优化过程？
• RQ5 AutoMix 是否能在包括视觉变换器和 ResNets 在内的多样化数据集与网络架构上实现良好泛化？

主要发现

• AutoMix 在九个图像分类基准上达到最先进性能，包括 CIFAR-10/100、Tiny-ImageNet、ImageNet-1k、CUB-200、FGVC-Aircraft、iNaturalist2017/2018 和 Places205。
• 在 ImageNet-1k 上，使用 ResNet-18 时，AutoMix 相较 CutMix 提高了最高 1.2% 的 top-1 准确率，相较 PuzzleMix 提高了 0.8%。
• 使用 ResNet-50 时，AutoMix 在 Tiny-ImageNet 上达到 70.72% 的 top-1 准确率，优于 MixUp（63.86%）和 CutMix（66.36%）。
• 消融实验表明，α=2 与特征层 l₃ 在准确率与复杂度之间实现了最佳权衡。
• 与基于组合优化的方法（如 PuzzleMix）相比，AutoMix 将训练时间最多减少 70%，同时保持更高准确率。
• 动量流水线显著提升了训练稳定性，有效防止 Mix Block 坍塌为平凡解。