[论文解读] Balanced Contrastive Learning for Long-Tailed Visual Recognition

Jianggang Zhu, Zheng Wang+3 more|arXiv (Cornell University)|Jul 19, 2022

Domain Adaptation and Few-Shot Learning被引用 14

一句话总结

该论文提出了一种新型对比学习方法——平衡对比学习（Balanced Contrastive Learning, BCL），通过在表示空间中强制形成正单纯形结构，纠正了监督对比学习在长尾数据上的偏差优化问题。通过引入类别补集和类别平均机制，BCL 确保所有类别在训练过程中获得均衡的梯度更新，显著提升了尾部类别性能，同时提升了头部类别准确率，在 ImageNet-LT 和 iNaturalist2018 基准上取得了最先进结果。

ABSTRACT

Real-world data typically follow a long-tailed distribution, where a few majority categories occupy most of the data while most minority categories contain a limited number of samples. Classification models minimizing cross-entropy struggle to represent and classify the tail classes. Although the problem of learning unbiased classifiers has been well studied, methods for representing imbalanced data are under-explored. In this paper, we focus on representation learning for imbalanced data. Recently, supervised contrastive learning has shown promising performance on balanced data recently. However, through our theoretical analysis, we find that for long-tailed data, it fails to form a regular simplex which is an ideal geometric configuration for representation learning. To correct the optimization behavior of SCL and further improve the performance of long-tailed visual recognition, we propose a novel loss for balanced contrastive learning (BCL). Compared with SCL, we have two improvements in BCL: class-averaging, which balances the gradient contribution of negative classes; class-complement, which allows all classes to appear in every mini-batch. The proposed balanced contrastive learning (BCL) method satisfies the condition of forming a regular simplex and assists the optimization of cross-entropy. Equipped with BCL, the proposed two-branch framework can obtain a stronger feature representation and achieve competitive performance on long-tailed benchmark datasets such as CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, and iNaturalist2018. Our code is available at https://github.com/FlamieZhu/BCL .

研究动机与目标

• 为解决监督对比学习（SCL）在长尾数据上因类别不平衡导致的表征学习性能低下问题。
• 分析为何 SCL 在长尾设置下无法形成正单纯形结构，从而导致特征空间几何结构次优。
• 设计一种对比损失函数，确保梯度贡献均衡，并在每个小批量中实现各类别的等效表示。
• 将 BCL 与对数补偿交叉熵统一，构建双分支框架，以在类别不平衡数据上同时提升表征学习与分类性能。
• 在 ImageNet-LT 和 iNaturalist2018 等长尾基准上实现最先进性能。

提出的方法

• BCL 通过在每个小批量中引入类别中心原型作为负样本，实现类别补集机制，确保所有类别在训练过程中均被包含。
• BCL 应用类别平均机制，对每个类别负样本的梯度贡献在小批量内进行归一化。
• 类别补集与类别平均的结合，使对比损失的下界变为与类别无关，从而在表示空间中实现正单纯形的构建。
• 该方法采用双分支框架：一个分支使用 BCL 实现均衡的表征学习，另一个分支使用对数补偿交叉熵实现均衡的分类。
• 模型通过联合目标函数（结合 BCL 与对数补偿）进行端到端训练，提升所有类别频率组的泛化能力。
• 该框架在 CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT 和 iNaturalist2018 上进行了评估，采用标准的 ResNet 和 ResNeXt 主干网络。

实验结果

研究问题

• RQ1 为何监督对比学习在长尾数据上无法形成正单纯形结构？
• RQ2 数据分布中的类别不平衡如何影响对比学习中学习到的表征的几何结构？
• RQ3 能否通过修改对比损失，在长尾数据下仍能在嵌入空间中强制实现均衡的正单纯形结构？
• RQ4 通过平衡梯度贡献并确保每个小批量中均包含各类别，是否能同时提升头部和尾部类别的性能？
• RQ5 结合平衡对比学习与对数补偿的统一框架，是否能在长尾基准上超越现有最先进方法？

主要发现

• 在 ImageNet-LT 上，BCL 在 180 个周期后达到 57.1% 的 Top-1 准确率，优于先前方法（PaCo 为 56.0%，DisAlign 为 52.9%）。
• 在 iNaturalist2018 上，BCL 在 100 个周期后整体 Top-1 准确率达到 71.8%，超过 RIDE（71.4%）和 Hybrid-PSC（68.1%）。
• 在 ImageNet-LT 上，BCL 将少样本准确率提升至 36.5%（180 个周期），显著优于平衡 Softmax（29.8%）和 PaCo（33.7%）。
• 在 ImageNet-LT 的多样本组中，BCL 在 90 个周期后达到 67.2% 的准确率，超过 RIDE（64.4%）和 DisAlign（62.7%）。
• 该方法同时提升了所有类别组（多、中、少样本）的性能，避免了以往方法中头部与尾部性能之间的权衡。
• 理论分析证实，BCL 确保了与类别无关的下界，从而支持正单纯形的形成，这是最优表征学习的结构。