[论文解读] VarifocalNet: An IoU-aware Dense Object Detector

Haoyang Zhang, Ying Wang+2 more|arXiv (Cornell University)|Aug 31, 2020

Advanced Neural Network Applications参考文献 51被引用 32

一句话总结

VFNet 引入 IoU 感知分类分数 (IACS) 并使用 Varifocal Loss 进行训练，以联合建模对象存在性与定位，提升密集检测器排序并在 COCO 上达到最先进结果。

ABSTRACT

Accurately ranking the vast number of candidate detections is crucial for dense object detectors to achieve high performance. Prior work uses the classification score or a combination of classification and predicted localization scores to rank candidates. However, neither option results in a reliable ranking, thus degrading detection performance. In this paper, we propose to learn an Iou-aware Classification Score (IACS) as a joint representation of object presence confidence and localization accuracy. We show that dense object detectors can achieve a more accurate ranking of candidate detections based on the IACS. We design a new loss function, named Varifocal Loss, to train a dense object detector to predict the IACS, and propose a new star-shaped bounding box feature representation for IACS prediction and bounding box refinement. Combining these two new components and a bounding box refinement branch, we build an IoU-aware dense object detector based on the FCOS+ATSS architecture, that we call VarifocalNet or VFNet for short. Extensive experiments on MS COCO show that our VFNet consistently surpasses the strong baseline by $\sim$2.0 AP with different backbones. Our best model VFNet-X-1200 with Res2Net-101-DCN achieves a single-model single-scale AP of 55.1 on COCO test-dev, which is state-of-the-art among various object detectors.Code is available at https://github.com/hyz-xmaster/VarifocalNet .

研究动机与目标

• 推动对密集检测器候选框进行更准确的排序，超越单纯分类分数。
• 提出一个 IoU 感知的分类分数 (IACS)，将对象存在性与定位精度融合。
• 开发一种新损失函数 (Varifocal Loss)，用于训练检测器以不对称加权预测 IACS。
• 引入用于 IACS 预测与边界框改进的星形边界框特征表示。
• 将这些组件整合到基于 FCOS+ATSS 的体系中，形成 VarifocalNet (VFNet)，并在 COCO 上进行评估。

提出的方法

• 将 IACS 定义为一个标量，其中 ground-truth 类别位置保持预测框与真值框之间的 IoU，其他位置为零。
• 引入 Varifocal Loss (VFL)，一种动态缩放的二进制交叉熵损失，用于对负样本进行不对称下采样，对高质量正样本使用目标 q（正样本的 gt_IoU）进行上权重。
• 采用星形边界框表示，使用九个固定采样点及可变形卷积来编码边框几何和上下文，以用于 IACS 预测。
• 添加一个边界框 refined 分支，预测距离缩放因子，通过残差形式对初始框进行细化。
• 从 FCOS+ATSS 移除 centerness 分支，构建 VFNet，具有两个头：一个用于 IACS 预测（分类），一个用于边界框定位和细化。

实验结果

研究问题

• RQ1 IoU 感知的分类分数（IACS）是否能为密集检测器提供比传统分类或定位信号乘积更可靠的排序基础？
• RQ2 Varifocal Loss 是否能改善预测 IACS 的训练动态和最终检测性能？
• RQ3 星形固定点特征表示是否更好地捕捉用于 IACS 预测与细化的边框几何与上下文？
• RQ4 在 COCO 上，VFNet 与强基线（如 FCOS+ATSS）在 AP 和效率方面的对比如何？
• RQ5 使用先进的主干网络和训练方案的 aVFNet-X 变体是否有望达到单模型 COCO 结果的最先进水平？

主要发现

• IACS 为检测提供了优于传统分数或信号乘积的更优排序基础。
• Varifocal Loss 提升了相对于 FCOS+ATSS 的 AP，并使对连续 IACS 目标的学习更有效。
• 星形边界框特征结合 refinement 分支通过捕捉边框几何和上下文带来进一步的 AP 提升。
• VFNet 在各主干上普遍比 FCOS+ATSS 高出约 2.0 AP，其中 VFNet-X-1200 在 COCO test-dev 上达到 55.1 AP。
• VFNet-X 搭配强主干（如 Res2Net-101-DCN）在 COCO test-dev 上实现单模型单尺度的最先进性能（55.1 AP）。
• Varifocal Loss 在各检测器（ResNet-50、RetinaNet、FoveaBox、RepPoints、ATSS）中普遍有益并且在实验中优于 Generalized Focal Loss。