[论文解读] Equalization Loss for Long-Tailed Object Recognition

Jingru Tan, Changbao Wang+5 more|arXiv (Cornell University)|Mar 11, 2020

Advanced Neural Network Applications参考文献 50被引用 24

一句话总结

本文提出等价损失（Equalization Loss, EQL），一种新型训练目标，通过在反向传播过程中抑制稀有类别负样本的抑制性梯度，缓解长尾目标检测中的梯度不平衡问题。通过忽略尾部类别这些梯度，EQL 实现了更均衡的学习，相较于 LVIS 上的 Mask R-CNN 基线，在稀有类别和常见类别上分别实现了 4.1% 和 4.8% 的 AP 提升，并在 LVIS 挑战赛 2019 中获得第一名。

ABSTRACT

Object recognition techniques using convolutional neural networks (CNN) have achieved great success. However, state-of-the-art object detection methods still perform poorly on large vocabulary and long-tailed datasets, e.g. LVIS. In this work, we analyze this problem from a novel perspective: each positive sample of one category can be seen as a negative sample for other categories, making the tail categories receive more discouraging gradients. Based on it, we propose a simple but effective loss, named equalization loss, to tackle the problem of long-tailed rare categories by simply ignoring those gradients for rare categories. The equalization loss protects the learning of rare categories from being at a disadvantage during the network parameter updating. Thus the model is capable of learning better discriminative features for objects of rare classes. Without any bells and whistles, our method achieves AP gains of 4.1% and 4.8% for the rare and common categories on the challenging LVIS benchmark, compared to the Mask R-CNN baseline. With the utilization of the effective equalization loss, we finally won the 1st place in the LVIS Challenge 2019. Code has been made available at: https: //github.com/tztztztztz/eql.detectron2

研究动机与目标

• 为解决目标检测器在长尾数据集（如 LVIS）上性能不佳的问题，特别是稀有类别被频繁类别淹没的情况。
• 分析该失败的根本原因在于稀有类别上来自负样本的过度抑制性梯度引发的类别间竞争。
• 提出一种简单而有效的损失函数，通过选择性忽略稀有类别负样本的梯度，实现所有类别间学习动态的均衡化。
• 在不损害频繁类别性能的前提下，提升稀有类别的泛化能力和性能。
• 在多个任务上验证该方法的有效性，包括目标检测、实例分割和图像分类，在长尾基准数据集上进行测试。

提出的方法

• 该方法在损失函数中引入类别特定的加权机制，在反向传播过程中降低稀有类别负样本梯度的贡献。
• 核心思想是：在更新稀有类别分类器权重时，忽略来自负样本（即所有其他类别和背景）的梯度，从而保护稀有类别免受抑制。
• 等价损失被形式化为一种改进的交叉熵损失，其动态加权因子依赖于类别频率，从而降低低频类别负样本的影响。
• 该方法与标准训练流程兼容，可应用于任意分类头而无需架构修改。
• 该方法被扩展为自正则化变体 SEQL，用于图像分类任务，进一步提升了在 ImageNet-LT 等长尾数据集上的性能。
• 在最终解决方案中，该方法与数据增强、多尺度测试和集成策略结合使用，尤其在 LVIS 挑战赛 2019 中表现突出。

实验结果

研究问题

• RQ1 为什么最先进的目标检测器在长尾数据集（如 LVIS）上表现不佳，尤其是在稀有类别上？
• RQ2 来自负样本的类别间竞争如何影响稀有类别在训练过程中的学习动态？
• RQ3 能否通过修改反向传播过程中的梯度流来提升稀有类别的识别性能？
• RQ4 通过抑制稀有类别负样本的抑制性梯度，是否能实现更好的泛化性，同时不损害频繁类别的性能？
• RQ5 所提出的损失函数能否在不同任务（如目标检测、实例分割和图像分类）中实现良好泛化？

主要发现

• 所提出的等价损失在 LVIS 基准上相较于 Mask R-CNN 基线，在稀有类别上实现 4.1% 的 AP 提升，在常见类别上实现 4.8% 的 AP 提升。
• 该方法在 LVIS 挑战赛 2019 中获得第一名，最终在 20,000 张测试集上的 Mask AP 达到 28.85，显著优于第二名（26.67）和第三名（24.04）。
• 在 ImageNet-LT 上，EQL 的 SEQL 变体实现了 36.44% 的 top-1 准确率，优于先前方法如 Focal Loss（30.5%）和 OLTR（35.6%）。
• 等价损失有效降低了稀有类别负样本的平均梯度范数，如图 1 所示，从而实现更均衡的学习动态。
• 图 2 的可视化结果证实，EQL 提升了稀有类别正样本提案的平均预测概率，同时未损害频繁类别的性能。
• 该方法具有良好的泛化能力：在不需复杂架构修改的前提下，显著提升了长尾数据集上目标检测、分割和分类任务的性能。