[论文解读] Boosting Discriminative Visual Representation Learning with Scenario-Agnostic Mixup

Siyuan Li, Zicheng Liu+4 more|arXiv (Cornell University)|Nov 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 50被引用 13

一句话总结

本文提出了一种场景无关的混合方法（SAMix），这是一种统一的视觉表示学习框架，适用于监督学习与自监督学习，通过一种新颖的 $η$-平衡损失函数和无标签的混合网络（Mixer）来增强混合样本的生成。通过联合优化局部平滑性与全局判别性，SAMix 生成高质量、非平凡的混合样本，在九个监督学习（SL）与自监督学习（SSL）基准上均实现一致的性能提升，展现出更强的泛化能力与更高的效率。

ABSTRACT

Mixup is a well-known data-dependent augmentation technique for DNNs, consisting of two sub-tasks: mixup generation and classification. However, the recent dominant online training method confines mixup to supervised learning (SL), and the objective of the generation sub-task is limited to selected sample pairs instead of the whole data manifold, which might cause trivial solutions. To overcome such limitations, we comprehensively study the objective of mixup generation and propose extbf{S}cenario- extbf{A}gnostic extbf{Mix}up (SAMix) for both SL and Self-supervised Learning (SSL) scenarios. Specifically, we hypothesize and verify the objective function of mixup generation as optimizing local smoothness between two mixed classes subject to global discrimination from other classes. Accordingly, we propose $η$-balanced mixup loss for complementary learning of the two sub-objectives. Meanwhile, a label-free generation sub-network is designed, which effectively provides non-trivial mixup samples and improves transferable abilities. Moreover, to reduce the computational cost of online training, we further introduce a pre-trained version, SAMix$^\mathcal{P}$, achieving more favorable efficiency and generalizability. Extensive experiments on nine SL and SSL benchmarks demonstrate the consistent superiority and versatility of SAMix compared with existing methods.

研究动机与目标

• 为解决现有在线混合方法因仅聚焦于局部样本对的生成目标而产生平凡解的局限性。
• 设计一种统一的混合生成目标，以平衡混合类别之间的局部平滑性与与其他类别的全局判别性。
• 消除混合生成过程中对标签的依赖，以提升在自监督学习（SSL）场景中的适用性。
• 通过引入预训练变体 SAMix P，提升计算效率与迁移能力，以支持下游任务。
• 统一监督学习与自监督学习的在线与预训练训练流程，实现一致的性能增益。

提出的方法

• 提出一种 $η$-平衡混合损失函数，显式平衡局部平滑性（在两个混合类别之间）与全局判别性（与其他所有类别相比）的目标。
• 引入一种无标签的混合网络（Mixer），具备混合注意力机制与非线性内容建模能力，可在无需类别标签的情况下生成多样化、非平凡的混合样本。
• 设计一种场景无关的框架 SAMix，支持监督学习与自监督学习任务的在线与预训练训练流程。
• 采用预训练版本 SAMix P，利用固定混合网络加速训练，同时保持高性能与强泛化能力。
• 利用特征图与可学习的混合比例，在潜在空间中实现端到端、自适应的混合生成。
• 将该框架应用于监督学习与对比自监督学习，将混合方法整合到表示学习目标中。

实验结果

研究问题

• RQ1 能否设计一种混合生成目标，以联合优化局部平滑性与全局判别性，从而提升表示学习性能？
• RQ2 如何设计一种无标签、可学习的混合生成器，以避免平凡解，并在监督学习与自监督学习场景中实现良好泛化？
• RQ3 统一的、场景无关的混合框架在监督学习与自监督视觉任务中，能在多大程度上提升性能与效率？
• RQ4 预训练的混合生成器是否能在下游任务中实现具有竞争力的性能，同时降低计算成本？
• RQ5 所提出的 $η$-平衡损失是否能有效平衡混合生成中局部与全局目标之间的权衡？

主要发现

• SAMix 在九个多样化的监督学习与自监督学习基准上均实现一致的性能提升，展现出强大的跨任务与跨模型泛化能力。
• 所提出的 $η$-平衡损失显著提升了混合样本的生成质量，通过平衡局部平滑性与全局判别性，进一步优化了表示学习效果。
• 无标签的 Mixer 网络有效避免了平凡解，并在无类别标签条件下生成高质量、语义有意义的混合样本。
• SAMix P 作为预训练变体，在分类任务中实现了与 SAMix 相当或略高的准确率，同时展现出更优的效率与迁移能力。
• 可视化结果表明，与 PuzzleMix 和 AutoMix 等先前方法相比，SAMix 生成的混合样本更具语义一致性与细粒度特征。
• 大量消融实验验证了 $η$-平衡损失与无标签 Mixer 在多个数据集与网络架构上对下游性能的显著提升作用。