[论文解读] Contrastive Learning based Hybrid Networks for Long-Tailed Image Classification

Peng Wang, Kai Han+3 more|arXiv (Cornell University)|Mar 26, 2021

Domain Adaptation and Few-Shot Learning参考文献 34被引用 17

一句话总结

本文提出一种混合深度学习框架，将监督对比学习与交叉熵损失相结合，用于长尾图像分类。通过采用课程学习策略，逐步从特征学习过渡到分类器学习，该方法提升了特征紧凑性与类间可分性，在长尾数据集上实现了最先进（SOTA）的准确率，尤其在高不平衡比率下表现优异。

ABSTRACT

Learning discriminative image representations plays a vital role in long-tailed image classification because it can ease the classifier learning in imbalanced cases. Given the promising performance contrastive learning has shown recently in representation learning, in this work, we explore effective supervised contrastive learning strategies and tailor them to learn better image representations from imbalanced data in order to boost the classification accuracy thereon. Specifically, we propose a novel hybrid network structure being composed of a supervised contrastive loss to learn image representations and a cross-entropy loss to learn classifiers, where the learning is progressively transited from feature learning to the classifier learning to embody the idea that better features make better classifiers. We explore two variants of contrastive loss for feature learning, which vary in the forms but share a common idea of pulling the samples from the same class together in the normalized embedding space and pushing the samples from different classes apart. One of them is the recently proposed supervised contrastive (SC) loss, which is designed on top of the state-of-the-art unsupervised contrastive loss by incorporating positive samples from the same class. The other is a prototypical supervised contrastive (PSC) learning strategy which addresses the intensive memory consumption in standard SC loss and thus shows more promise under limited memory budget. Extensive experiments on three long-tailed classification datasets demonstrate the advantage of the proposed contrastive learning based hybrid networks in long-tailed classification.

研究动机与目标

• 为解决由于数据分布偏斜导致长尾图像分类中分类器偏差的问题。
• 探究在数据不平衡设置下，监督对比学习是否能生成比交叉熵更具判别性的特征。
• 设计一种适用于有限GPU显存预算的内存高效对比学习策略。
• 通过基于课程学习的特征与分类器联合训练策略，实现从特征学习到分类器学习的渐进过渡，从而提升分类器性能。
• 证明在长尾场景下，更优的特征可带来更优的分类器性能。

提出的方法

• 提出一种混合网络，联合优化用于特征学习的监督对比（SC）损失和用于分类器学习的交叉熵损失。
• 采用课程学习策略，逐步将训练从以SC损失为主导的特征学习阶段，过渡到以交叉熵损失为主导的分类器学习阶段。
• 提出原型监督对比（PSC）损失，用类别原型替代显式的正负样本采样，降低内存消耗。
• 使用ℓ₂归一化的特征和原型，将特征范数与类别频率解耦，提升训练稳定性。
• 推导出PSC损失的梯度：正类亲和度的梯度恒定，负类亲和度的梯度显著，从而增强类间可分性。
• 将PSC损失应用于缓解过采样尾部类别中的过拟合问题，同时保持强判别能力。

实验结果

研究问题

• RQ1 在长尾图像分类中，监督对比学习是否能生成比交叉熵更紧凑、更具可分性的特征？
• RQ2 基于课程学习的联合训练策略是否在分类器准确率上优于两阶段训练？
• RQ3 在长尾设置下，原型对比损失是否能在不牺牲特征质量的前提下降低内存消耗？
• RQ4 在有限GPU显存预算下，PSC损失是否比标准SC损失更有效？
• RQ5 通过对比损失改进特征学习后，是否能显著提升下游分类性能？

主要发现

• 所提出的结合课程学习的混合网络在不平衡比为10的长尾CIFAR-100上达到63.05%的准确率，显著优于基线CE-CE方法（59.14%）。
• 混合-SC模型在长尾CIFAR-100（不平衡比10）上达到46.72%的准确率，优于两阶段SC基线（42.73%）和无课程学习的混合-SC（42.58%）。
• PSC变体在长尾CIFAR-100（不平衡比10）上达到44.91%的准确率，证明PSC在内存受限条件下是SC的可行替代方案。
• 在混合框架中将对比损失替换为交叉熵损失后，准确率从63.05%降至59.14%，证明对比学习在数据不平衡场景下对有效特征学习至关重要。
• 基于课程学习的联合训练策略显著优于两阶段训练和固定权重联合训练，证实了渐进式学习的价值。
• PSC损失对负类原型产生显著梯度，对正类亲和度保持恒定梯度，有助于缓解过拟合并增强类间可分性。