[论文解读] Harnessing Hard Mixed Samples with Decoupled Regularizer

Zicheng Liu, Siyuan Li+4 more|arXiv (Cornell University)|Mar 21, 2022

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

该论文提出了一种新的混合方法——解耦混合（Decoupled Mixup, DM），其通过引入一个解耦正则项，显式利用具有显著特征但标签权重较低的困难混合样本（hard mixed samples）来增强静态混合方法的判别性特征挖掘能力。与需要昂贵混合掩码优化的动态混合方法不同，DM 通过重新思考损失函数，在不增加额外计算成本的前提下，实现了与最先进动态方法相当或更优的性能，同时保持了决策边界的平滑性。

ABSTRACT

Mixup is an efficient data augmentation approach that improves the generalization of neural networks by smoothing the decision boundary with mixed data. Recently, dynamic mixup methods have improved previous static policies effectively (e.g., linear interpolation) by maximizing target-related salient regions in mixed samples, but excessive additional time costs are not acceptable. These additional computational overheads mainly come from optimizing the mixed samples according to the mixed labels. However, we found that the extra optimizing step may be redundant because label-mismatched mixed samples are informative hard mixed samples for deep models to localize discriminative features. In this paper, we thus are not trying to propose a more complicated dynamic mixup policy but rather an efficient mixup objective function with a decoupled regularizer named Decoupled Mixup (DM). The primary effect is that DM can adaptively utilize those hard mixed samples to mine discriminative features without losing the original smoothness of mixup. As a result, DM enables static mixup methods to achieve comparable or even exceed the performance of dynamic methods without any extra computation. This also leads to an interesting objective design problem for mixup training that we need to focus on both smoothing the decision boundaries and identifying discriminative features. Extensive experiments on supervised and semi-supervised learning benchmarks across seven datasets validate the effectiveness of DM as a plug-and-play module. Source code and models are available at https://github.com/Westlake-AI/openmixup

研究动机与目标

• 为解决动态混合方法效率低下的问题，后者因需优化混合掩码而产生高昂的计算成本。
• 探究在标准混合方法中，标签不匹配的困难混合样本（即包含某一类别显著特征但标签权重较低的样本）是否被低估。
• 提出一种新的损失函数，使静态混合方法能够自适应地利用这些信息丰富的困难样本，同时保持决策边界的平滑性。
• 证明性能提升的关键不在于复杂的混合策略，而在于更优的目标函数设计，该设计在平滑性与判别性特征挖掘之间实现平衡。
• 实现 DM 在现有静态混合方法框架中的即插即用集成，适用于监督学习与半监督学习。

提出的方法

• 在标准混合交叉熵（MCE）损失中引入一个解耦正则项，使每个混合样本中各类别的预测概率可独立计算。
• 将损失解耦为两部分：一部分用于标签一致性（MCE），另一部分用于判别性特征激活（解耦正则项），使模型即使在标签权重较低时，也能对显著特征赋予高置信度。
• 在训练过程中应用解耦损失，以鼓励模型在困难混合样本中准确定位并自信响应判别性特征。
• 使用类激活映射（CAM）可视化方法，证明 DM 使模型能够关注困难样本中的显著区域，而标准 MCE 损失则会抑制此类响应。
• 将 DM 集成到多种静态混合方法（如 Mixup、CutMix）中，并通过最小化修改将 DM 扩展至半监督学习，利用未标注数据。
• 在七个基准数据集上评估 DM，涵盖 CIFAR-100、ImageNet 和 RSB，使用 CNN 与视觉 Transformer 架构。

实验结果

研究问题

• RQ1 是否可以在不增加额外优化开销的前提下，有效利用具有显著特征但标签权重较低的困难混合样本进行混合训练？
• RQ2 与混合策略相比，重新思考损失函数是否能带来更好的混合训练性能？
• RQ3 像解耦混合（DM）这样简单且即插即用的目标函数，是否能在不增加计算成本的前提下，达到或超越复杂动态混合方法的性能？
• RQ4 解耦正则项是否能有效提升特征判别性，同时在混合训练中保持决策边界的平滑性？
• RQ5 DM 是否可推广至半监督学习，以减少确认偏见并提升数据效率？

主要发现

• 在 DeiT-Small 模型上，DM 在 CIFAR-100 上实现了 SOTA 性能，200 个训练周期达到 76.20% 的 top-1 准确率，600 个周期达到 79.92%，优于相同训练设置下的动态方法（如 AutoMix 和 SAMix）。
• 在 ConvNeXt-Tiny 模型上，DM 在 200 个周期达到 83.44% 的 top-1 准确率，600 个周期达到 84.49%，性能与 AutoMix 和 SAMix 等动态混合方法相当或更优，且无额外计算成本。
• 在半监督学习中，DM 通过解耦正则项有效利用未标注数据，显著降低确认偏见并提升性能。
• 通过类激活映射（CAM）可视化证实，DM 使模型能够关注困难混合样本中的显著特征，而标准 MCE 损失则会抑制此类响应。
• 消融实验表明，DM 的性能增益在与静态混合方法结合时最为显著，而相较于动态混合方法的提升有限，表明动态混合方法本身已产生较少困难样本。
• DM 计算效率高：在单张 A100 GPU 上，使用 ConvNeXt-Tiny 在 CIFAR-100 上训练 600 个周期仅需 10 小时，而 AutoMix 需 56–59 小时，充分体现了其可扩展性。