[论文解读] Equalized Focal Loss for Dense Long-Tailed Object Detection

Bo Li, Yongqiang Yao+5 more|arXiv (Cornell University)|Jan 7, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出了一种新型损失函数——等化焦点损失（Equalized Focal Loss, EFL），通过根据类别特定的不平衡程度动态调整焦点损失中的调制因子，同时解决单阶段目标检测器中的前景-背景不平衡与长尾类别不平衡问题。EFL 在 LVIS v1 上实现了 29.2% 的 AP，创下单阶段长尾目标检测的新 SOTA 记录，并在 OpenImages 上展现出强大的泛化能力。

ABSTRACT

Despite the recent success of long-tailed object detection, almost all long-tailed object detectors are developed based on the two-stage paradigm. In practice, one-stage detectors are more prevalent in the industry because they have a simple and fast pipeline that is easy to deploy. However, in the long-tailed scenario, this line of work has not been explored so far. In this paper, we investigate whether one-stage detectors can perform well in this case. We discover the primary obstacle that prevents one-stage detectors from achieving excellent performance is: categories suffer from different degrees of positive-negative imbalance problems under the long-tailed data distribution. The conventional focal loss balances the training process with the same modulating factor for all categories, thus failing to handle the long-tailed problem. To address this issue, we propose the Equalized Focal Loss (EFL) that rebalances the loss contribution of positive and negative samples of different categories independently according to their imbalance degrees. Specifically, EFL adopts a category-relevant modulating factor which can be adjusted dynamically by the training status of different categories. Extensive experiments conducted on the challenging LVIS v1 benchmark demonstrate the effectiveness of our proposed method. With an end-to-end training pipeline, EFL achieves 29.2% in terms of overall AP and obtains significant performance improvements on rare categories, surpassing all existing state-of-the-art methods. The code is available at https://github.com/ModelTC/EOD.

研究动机与目标

• 探究单阶段目标检测器在长尾场景下的可行性与性能表现，尽管此类方法因工业界对其高效性的偏好而备受青睐，但其在长尾数据上的研究仍显不足。
• 识别单阶段检测器在长尾数据分布下表现不佳的根本原因：由于数据分布偏移，各类别之间的正负样本不平衡程度不一致。
• 提出一种统一的损失函数，可同时缓解单阶段检测器中的前景-背景不平衡与类别间不平衡问题。
• 证明 EFL 在不同主干网络与数据集（包括 LVIS v1 和 OpenImages）上具有良好的泛化能力，且无需依赖数据分布先验信息。

提出的方法

• EFL 引入一种与类别相关的调制因子，由两个解耦的动态组件构成：聚焦因子与加权因子，二者均根据每个类别的训练状态与不平衡程度进行调整。
• 聚焦因子通过根据类别特定的不平衡水平缩放焦点损失的指数项，增强对稀有类别中难分类正样本的关注。
• 加权因子通过放大稀有类别的损失贡献，防止其梯度在训练过程中被频繁类别所淹没。
• 调制因子在训练过程中动态计算，实现自适应损失重加权，无需预先计算类别频率或数据统计信息。
• EFL 设计为标准焦点损失的即插即用替代品，兼容任意单阶段检测器架构。
• 该方法在 COCO 和 LVIS v1 上使用改进的基线模型（ResNet-50）进行评估，采用标准训练调度与采样策略，以验证其在无分布先验条件下的性能。

实验结果

研究问题

• RQ1 尽管相较于两阶段方法研究较少，单阶段目标检测器是否能在长尾目标检测中实现 SOTA 性能？
• RQ2 为何标准焦点损失与现有重加权方法在长尾数据分布下无法在单阶段检测器中实现有效泛化？
• RQ3 如何设计单一损失函数，以同时解决单阶段检测器中的前景-背景不平衡与类别间不平衡问题？
• RQ4 所提出的 EFL 在不降低频繁类别性能的前提下，对稀有类别的性能提升程度如何？
• RQ5 EFL 是否能在不同数据分布与训练协议（包括平衡与长尾设置）下保持强性能表现？

主要发现

• EFL 在 LVIS v1 基准上实现了 29.2% 的 AP，超越所有现有长尾目标检测的 SOTA 方法。
• 该方法显著提升了稀有类别的性能，尤其在 AP_s（小目标）与 AP_l（大目标）上均有显著增益，表明其在不同尺度上的鲁棒性。
• 在 COCO 数据集（类别分布均衡）上，EFL 实现了与标准焦点损失相当的性能（42.3% AP），证实其在平衡数据上的兼容性。
• 梯度分析表明，EFL 增强了稀有类别中难样本的梯度贡献，且随着不平衡程度增加，梯度变得更陡峭。
• EFL 在 OpenImages 上表现出良好的泛化能力，展现出跨不同数据集与数据分布的强大可迁移性与鲁棒性。
• 消融实验证实，动态且类别特定的调制因子至关重要；若采用静态或共享因子，则无法达到同等性能增益。