[论文解读] Exploring Classification Equilibrium in Long-Tailed Object Detection

Chengjian Feng, Yujie Zhong+1 more|arXiv (Cornell University)|Aug 17, 2021

Advanced Neural Network Applications参考文献 1被引用 6

一句话总结

该论文提出LOCE，一种用于长尾目标检测的新方法，通过使用平均分类分数来引导损失调整和特征采样，实现分类均衡。该方法引入了平衡损失（EBL），以动态增加对表现较差类别的决策边界调整强度；并提出基于记忆的特征采样（MFS），以提升尾部类别特征的重用率和训练频率，从而在LVIS数据集上使尾部类别实现15.6 AP的增益，并达到SOTA性能。

ABSTRACT

The conventional detectors tend to make imbalanced classification and suffer performance drop, when the distribution of the training data is severely skewed. In this paper, we propose to use the mean classification score to indicate the classification accuracy for each category during training. Based on this indicator, we balance the classification via an Equilibrium Loss (EBL) and a Memory-augmented Feature Sampling (MFS) method. Specifically, EBL increases the intensity of the adjustment of the decision boundary for the weak classes by a designed score-guided loss margin between any two classes. On the other hand, MFS improves the frequency and accuracy of the adjustment of the decision boundary for the weak classes through over-sampling the instance features of those classes. Therefore, EBL and MFS work collaboratively for finding the classification equilibrium in long-tailed detection, and dramatically improve the performance of tail classes while maintaining or even improving the performance of head classes. We conduct experiments on LVIS using Mask R-CNN with various backbones including ResNet-50-FPN and ResNet-101-FPN to show the superiority of the proposed method. It improves the detection performance of tail classes by 15.6 AP, and outperforms the most recent long-tailed object detectors by more than 1 AP. Code is available at https://github.com/fcjian/LOCE.

研究动机与目标

• 解决长尾目标检测中头部类别主导、尾部类别代表性不足导致的性能下降问题。
• 克服现有重采样和重加权方法的局限性，这些方法与模型无关且对超参数敏感。
• 通过利用实时模型反馈动态平衡学习进度，提升头部和尾部类别的分类准确率。
• 开发一种能够根据类别特定学习状态自适应调整的方法，而非仅依赖数据集统计信息或固定采样率。

提出的方法

• 在训练过程中使用各类别的平均分类分数，作为其分类准确率和学习状态的实时指标。
• 设计平衡损失（EBL），采用分数引导的损失边界，增强对低分（表现弱）类别决策边界的调整强度。
• 实现基于记忆的特征采样（MFS），在训练迭代中存储并重用来自与模型无关的提议生成器的密集实例特征。
• 使用概率采样器对低分（尾部）类别特征进行过采样，提升其训练频率和准确性。
• 结合EBL与MFS，通过协同调节决策边界调整的强度与频率，实现分类均衡。
• 将该方法集成至标准Mask R-CNN框架中，采用ResNet-50-FPN与ResNet-101-FPN，在LVIS基准上进行评估。

实验结果

研究问题

• RQ1 平均分类分数能否作为长尾检测训练过程中分类准确率的有效、动态指标？
• RQ2 与基于数据集或固定边界的方案相比，分数引导的损失边界是否能更有效地提升对表现不佳（尾部）类别的决策边界调整？
• RQ3 基于记忆的特征采样是否能在不导致过拟合的前提下，提升尾部类别训练更新的频率与质量？
• RQ4 EBL与MFS联合使用在多大程度上能提升所有类别组（尤其是尾部类别）的性能，同时保持头部类别的性能？
• RQ5 与当前SOTA的长尾检测方法相比，该方法在AP增益和对类别不平衡的鲁棒性方面表现如何？

主要发现

• 与LVIS v1.0上的基线Mask R-CNN相比，LOCE在尾部类别上实现了15.6 AP的显著提升，显著优于先前方法。
• 在使用ResNet-101-FPN的LVIS v1.0上，LOCE达到29.0 AP，超过此前SOTA方法（包括Seesaw Loss和EQL v2）1个以上AP。
• 分数引导方法优于基于数据集的基线方法，后者虽提升了稀有类别AP，但因尾部类别过采样而损害了头部类别性能。
• LOCE在大幅提升尾部类别检测性能的同时，维持或提升了头部类别的性能，展现出有效的分类均衡。
• 该方法对超参数选择具有鲁棒性，最优性能出现在α=0.9（分数平滑）和ĥsC+1=0.01（边界初始化）时。
• 消融实验表明，EBL与MFS均对性能提升有显著贡献：MFS提升了特征采样频率，EBL增强了对弱类别的决策边界调整强度。