[论文解读] Global and Local Mixture Consistency Cumulative Learning for Long-tailed Visual Recognitions

Fei Du, Peng Yang+4 more|arXiv (Cornell University)|May 15, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出全局与局部混合一致性累积学习（GLMC），一种用于长尾视觉识别的一阶段训练框架，通过全局（MixUp）和局部（CutMix）增强一致性提升特征提取器的鲁棒性，同时通过逐轮累积、类别频率重加权的软标签缓解头部类别偏差。GLMC在CIFAR10-LT、CIFAR100-LT和ImageNet-LT上达到最先进准确率，并在平衡的ImageNet和CIFAR数据集上展现出显著泛化性能提升。

ABSTRACT

In this paper, our goal is to design a simple learning paradigm for long-tail visual recognition, which not only improves the robustness of the feature extractor but also alleviates the bias of the classifier towards head classes while reducing the training skills and overhead. We propose an efficient one-stage training strategy for long-tailed visual recognition called Global and Local Mixture Consistency cumulative learning (GLMC). Our core ideas are twofold: (1) a global and local mixture consistency loss improves the robustness of the feature extractor. Specifically, we generate two augmented batches by the global MixUp and local CutMix from the same batch data, respectively, and then use cosine similarity to minimize the difference. (2) A cumulative head tail soft label reweighted loss mitigates the head class bias problem. We use empirical class frequencies to reweight the mixed label of the head-tail class for long-tailed data and then balance the conventional loss and the rebalanced loss with a coefficient accumulated by epochs. Our approach achieves state-of-the-art accuracy on CIFAR10-LT, CIFAR100-LT, and ImageNet-LT datasets. Additional experiments on balanced ImageNet and CIFAR demonstrate that GLMC can significantly improve the generalization of backbones. Code is made publicly available at https://github.com/ynu-yangpeng/GLMC.

研究动机与目标

• 解决长尾视觉识别数据集中头部类别偏差与泛化能力差的挑战。
• 开发一种无需多阶段训练复杂性与开销的一阶段训练范式。
• 在不依赖负样本对或大批次训练的前提下提升特征提取器鲁棒性。
• 通过自适应、逐轮累积的标签重加权策略缓解分类器对头部类别的偏差。
• 提升主干网络在长尾与平衡图像分类基准上的泛化性能。

提出的方法

• 引入全局与局部混合一致性损失，通过最小化同一批次中全局混合（MixUp）与局部混合（CutMix）增强样本表示之间的负余弦相似度来实现。
• 在反向传播过程中应用停止梯度操作，以稳定一致性损失的学习过程。
• 利用经验类别频率对混合标签进行重加权，以平衡头部与尾部类别，构建类别均衡的损失分量。
• 通过随训练轮次累积的系数，将标准交叉熵损失与重加权损失相结合。
• 将该方法作为监督训练中的辅助损失实现，无需网络架构修改或额外组件。
• 端到端地在单阶段内完成模型训练，避免了单独的表示预训练或分类器微调需求。

实验结果

研究问题

• RQ1 是否能够通过单阶段训练策略在无需多阶段训练的情况下有效缓解长尾视觉识别中的头部类别偏差？
• RQ2 结合全局与局部数据增强一致性如何提升特征提取器的鲁棒性？
• RQ3 自适应、逐轮累积的标签重加权在多大程度上可减少长尾数据集中对头部类别的偏差？
• RQ4 所提出方法是否能泛化至ImageNet和CIFAR等平衡数据集？
• RQ5 混合一致性与累积重加权对整体性能提升的相对贡献如何？

主要发现

• 在CIFAR-100-LT（不平衡因子100）上，GLMC达到83.05%的Top-1准确率，优于PaCo 3.95%，优于原始交叉熵损失7.77%。
• 在ImageNet-LT上，GLMC取得80.2%的Top-1准确率，优于PaCo 0.9%，优于SupCon 1.8%。
• 仅使用全局与局部混合一致性损失，CIFAR-100-LT（不平衡因子100）的准确率即提升11.81%（从38.3%提升至50.11%）。
• 累积重加权策略显著降低了头部类别偏差，最优性能在标签重加权系数为1.0时达到。
• 在平衡的ImageNet与CIFAR-100上，GLMC提升了主干网络的泛化能力，在无需长尾特定修改的情况下实现80.2%的Top-1准确率。
• 消融实验表明，混合一致性与累积重加权两个组件均不可或缺，最佳性能在两者同时使用时实现。