[论文解读] Equalization Loss v2: A New Gradient Balance Approach for Long-tailed Object Detection

Jingru Tan, Xin Lu+3 more|arXiv (Cornell University)|Dec 15, 2020

Advanced Neural Network Applications参考文献 45被引用 9

一句话总结

该论文提出Equalization Loss v2（EQL v2），一种新型的梯度引导重加权机制，可在长尾目标检测的端到端训练过程中动态平衡正负梯度。通过按类别均衡梯度比例，EQL v2在LVIS和Open Images数据集上达到最先进性能，相较于端到端及解耦训练方法，mAP提升4–7.3个百分点，尤其在稀有类别上mAP提升达17–22个百分点。

ABSTRACT

Recently proposed decoupled training methods emerge as a dominant paradigm for long-tailed object detection. But they require an extra fine-tuning stage, and the disjointed optimization of representation and classifier might lead to suboptimal results. However, end-to-end training methods, like equalization loss (EQL), still perform worse than decoupled training methods. In this paper, we reveal the main issue in long-tailed object detection is the imbalanced gradients between positives and negatives, and find that EQL does not solve it well. To address the problem of imbalanced gradients, we introduce a new version of equalization loss, called equalization loss v2 (EQL v2), a novel gradient guided reweighing mechanism that re-balances the training process for each category independently and equally. Extensive experiments are performed on the challenging LVIS benchmark. EQL v2 outperforms origin EQL by about 4 points overall AP with 14-18 points improvements on the rare categories. More importantly, it also surpasses decoupled training methods. Without further tuning for the Open Images dataset, EQL v2 improves EQL by 7.3 points AP, showing strong generalization ability. Codes have been released at https://github.com/tztztztztz/eqlv2

研究动机与目标

• 解决长尾目标检测中端到端训练与解耦训练之间持续存在的性能差距。
• 识别现有端到端方法（如Equalization Loss，EQL）中正负样本梯度不平衡为根本问题。
• 开发一种梯度引导的重加权机制，独立平衡每个类别的训练过程，以实现相等的学习效率。
• 在无需额外微调阶段的情况下，实现在长尾基准上的最先进性能。
• 在LVIS和Open Images等多样化数据集上展示强泛化能力，且仅需极少的超参数调优。

提出的方法

• 将目标检测建模为一系列独立的子任务，每个类别对应一个子任务，以实现类别特定的梯度平衡。
• 引入梯度比例指标，用于在训练过程中追踪每个类别的累积正负梯度比例。
• 应用S型映射函数，根据当前梯度比例动态重加权正负梯度，优先关注训练不足的类别。
• 在所有类别上采用简单且统一的重加权规则，确保公平对待并实现稳定优化。
• 将重加权机制直接集成到分类损失中，实现端到端训练，无需额外阶段。
• 通过调优超参数μ（高梯度比例阈值）和γ（对不平衡的敏感度）以优化平衡性与鲁棒性。

Figure 1 : Visualization of accumulative gradients ratio of different trained models. Best view in color. The x-axis is the sorted category index of 1203 categories of LVIS dataset. The y-axis is the accumulative gradient ratio of positives to negatives. Here gradient is the gradient of the output l

实验结果

研究问题

• RQ1 为何现有端到端方法（如Equalization Loss，EQL）在长尾检测中仍落后于解耦训练？
• RQ2 在长尾设置下，正负样本之间的梯度不平衡在多大程度上影响模型学习？
• RQ3 能否通过一种动态的、类别特定的梯度重加权机制，在无需额外微调阶段的情况下提升端到端训练性能？
• RQ4 基于梯度比例的统一重加权规则是否能带来在多样化长尾数据集上的更好泛化能力？
• RQ5 端到端方法能否在长尾目标检测中超越解耦训练范式？

主要发现

• 在LVIS基准上，EQL v2相较于基线模型mAP提升6个百分点，相较于原始EQL提升4个百分点，稀有类别mAP提升达17–20个百分点。
• 在Open Images数据集上，EQL v2达到52.6 mAP，较基线提升9.5个百分点，较EQL提升7.3个百分点，最稀有类别组mAP提升达22.3个百分点。
• EQL v2在具有挑战性的LVIS数据集上优于所有现有方法，包括最先进解耦训练方法。
• 模型保持强泛化能力：使用与LVIS相同的超参数，EQL v2在Open Images上使用ResNet-101主干网络达到55.6 mAP。
• 消融实验表明，μ = 0.9且γ = 12时达到最佳平衡，更高的μ值可进一步提升性能，γ在合理范围内具有鲁棒性。
• 梯度比例可视化显示，与基线或EQL相比，EQL v2在各类别间实现了更均衡的梯度分布，尤其在稀有类别上表现显著。

Figure 2 : The accumulated gradients ratio of positives to negatives. Models are trained with total 75k iterations. We show the values at different training iteration. We compare the accumulated gradients of two models, Mask R-CNN with sigmoid loss and EQL v2.