[论文解读] Overcoming Classifier Imbalance for Long-tail Object Detection with Balanced Group Softmax

Yu Li, Tao Wang+5 more|arXiv (Cornell University)|Jun 18, 2020

Advanced Neural Network Applications参考文献 42被引用 8

一句话总结

本文提出了一种名为 Balanced Group Softmax (BAGS) 的新型模块，通过将实例数量相近的类别分组并应用组内 Softmax 交叉熵损失，有效缓解了长尾目标检测中的分类器不平衡问题。BAGS 在不使用额外采样策略的情况下，隐式平衡了头部与尾部类别之间的训练动态，显著优于以往方法，在 COCO-LT 上 mAP 提升超过 2%，并在 LVIS 上取得了新的 SOTA 成绩。

ABSTRACT

Solving long-tail large vocabulary object detection with deep learning based models is a challenging and demanding task, which is however under-explored.In this work, we provide the first systematic analysis on the underperformance of state-of-the-art models in front of long-tail distribution. We find existing detection methods are unable to model few-shot classes when the dataset is extremely skewed, which can result in classifier imbalance in terms of parameter magnitude. Directly adapting long-tail classification models to detection frameworks can not solve this problem due to the intrinsic difference between detection and classification.In this work, we propose a novel balanced group softmax (BAGS) module for balancing the classifiers within the detection frameworks through group-wise training. It implicitly modulates the training process for the head and tail classes and ensures they are both sufficiently trained, without requiring any extra sampling for the instances from the tail classes.Extensive experiments on the very recent long-tail large vocabulary object recognition benchmark LVIS show that our proposed BAGS significantly improves the performance of detectors with various backbones and frameworks on both object detection and instance segmentation. It beats all state-of-the-art methods transferred from long-tail image classification and establishes new state-of-the-art.Code is available at https://github.com/FishYuLi/BalancedGroupSoftmax.

研究动机与目标

• 系统分析当前最先进检测器在 LVIS 等长尾数据集上表现不佳的根本原因。
• 识别分类器不平衡——由分类头中参数幅度失衡引起——是尾部类别性能低下的一项关键因素。
• 在检测框架中解决此类不平衡问题，其中现有长尾分类技术因架构与训练差异而失效。
• 提出一种即插即用模块 BAGS，实现头部与尾部类别的有效联合训练，无需修改数据采样或损失加权策略。
• 在 LVIS 和自建的 COCO-LT 数据集上，验证 BAGS 在多种主干网络与检测框架中的泛化性与鲁棒性。

提出的方法

• 根据类别在训练集中的实例数量，将类别分组形成平衡的训练组别。
• 对每组独立应用组内 Softmax 交叉熵损失，以降低头部类别在优化过程中的主导影响。
• 在每组中引入一个“其他类别”标记，以提供多样化的负样本，减少误报。
• 将背景类别单独划为一组，以保持其作为强负样本参考的作用。
• 采用解耦策略训练分类头：固定特征提取器，仅微调分类器的权重与偏置。
• 采用两阶段训练策略：首先从随机初始化开始训练分类头，随后微调完整分类头或主干网络，以提升收敛性。

实验结果

研究问题

• RQ1 为何当前最先进检测器在长尾目标检测任务中表现不佳，尽管其在 COCO 等平衡数据集上性能优异？
• RQ2 长尾数据集中的数据不平衡如何导致检测头中分类器参数幅度的失衡？
• RQ3 为何现有长尾图像分类技术（如重加权或重采样）在直接应用于目标检测框架时效果不佳？
• RQ4 通过修改后的 Softmax 损失实现组内训练，是否能有效平衡检测任务中头部与尾部类别的学习，而无需数据增强或采样？
• RQ5 所提出的 BAGS 模块是否在不同检测架构与数据集（包括合成的长尾分布）上具备良好的泛化能力？

主要发现

• 在 COCO-LT 数据集上训练时，BAGS 在 Faster R-CNN 上使 mAP 提升 2.2 个百分点，在 Mask R-CNN 上提升 2.4 个百分点，该数据集模拟了 LVIS 的长尾分布。
• 在 LVIS 验证集上，BAGS 使用 ResNet-50-FPN 时达到 26.25% 的 mAP，较 LVIS 2019 冠军（lvlvisis）高出 2.29 个百分点，较另一冠军（strangeturtle）高出 2.35 个百分点。
• 在稀有类别上的 AP r 达到 17.97%，显著优于 strangeturtle 的 11.70%，表明其在尾部类别上具有更强的泛化能力。
• 消融实验表明，微调完整分类头或主干网络仅带来微小收益，验证了轻量化训练协议的合理性。
• BAGS 在所有迁移自长尾图像分类的 SOTA 方法中表现最优，在无需额外技巧的前提下确立了 LVIS 的新 SOTA。
• 采用 BAGS 的模型在头部与尾部类别上均保持强劲性能，且在所有 AP 阈值下实现均衡提升，表明其有效缓解了分类器不平衡问题。