[论文解读] BorderDet: Border Feature for Dense Object Detection

Han Qiu, Yuchen Ma+3 more|arXiv (Cornell University)|Jul 21, 2020

Advanced Neural Network Applications参考文献 35被引用 15

一句话总结

BorderDet 提出了一种新型特征提取算子 BorderAlign，通过显式利用物体边界上极端点的边界特征，增强了密集目标检测。通过将 BorderAlign 集成到 FCOS 和 FPN 等检测器中，该方法实现了最先进性能，在使用 ResNet-50 时将 AP 提升了 2.8 个百分点（达到 41.4），在使用 ResNeXt-101-DCN 主干网络时在 COCO 上达到了 50.3 AP。

ABSTRACT

Dense object detectors rely on the sliding-window paradigm that predicts the object over a regular grid of image. Meanwhile, the feature maps on the point of the grid are adopted to generate the bounding box predictions. The point feature is convenient to use but may lack the explicit border information for accurate localization. In this paper, We propose a simple and efficient operator called Border-Align to extract "border features" from the extreme point of the border to enhance the point feature. Based on the BorderAlign, we design a novel detection architecture called BorderDet, which explicitly exploits the border information for stronger classification and more accurate localization. With ResNet-50 backbone, our method improves single-stage detector FCOS by 2.8 AP gains (38.6 v.s. 41.4). With the ResNeXt-101-DCN backbone, our BorderDet obtains 50.3 AP, outperforming the existing state-of-the-art approaches. The code is available at (https://github.com/Megvii-BaseDetection/BorderDet).

研究动机与目标

• 为解决基于点的特征表示在密集目标检测器中的局限性，即缺乏显式的边界信息以实现精确定位。
• 通过仅关注关键边界点，减少 RoI 基于方法和可变形卷积中常见的冗余和背景影响的特征提取。
• 设计一种轻量化、高效的特征优化模块，可轻松集成到基于锚框和无锚框的检测器中。
• 通过显式建模物体边界上的极端点，提升分类置信度和边界框回归的准确性。
• 在不依赖复杂数据增强或模型集成的情况下，实现在 COCO 上的最先进性能。

提出的方法

• 提出 BorderAlign，一种特征提取算子，从五个关键点采样特征：预测框的中心点以及四个极端点（左上、右上、左下、右下）。
• 使用双线性插值从特征图在这些五个空间位置提取高质量特征，聚焦于与边界相关的信息。
• 将 BorderAlign 集成到一种新型检测器架构 BorderDet 中，利用增强的边界特征对分类分数和边界框回归进行优化。
• 将 BorderAlign 模块作为即插即用模块应用于现有检测器（如 FCOS 和 FPN），无需修改主干网络或训练策略。
• 采用可学习的加权机制，自适应地融合原始点特征与边界特征，以提升表征能力。
• 支持单阶段和两阶段检测器，包括 RetinaNet 和 Faster R-CNN，展现出广泛的兼容性。

实验结果

研究问题

• RQ1 显式建模物体边界特征（尤其是极端点）是否能提升密集目标检测器中的定位精度？
• RQ2 与对整个边界框进行密集特征池化相比，聚焦于稀疏边界点的特征提取策略在效率和准确性方面是否更具优势？
• RQ3 像 BorderAlign 这类轻量化、可微分的模块是否能有效集成到各种最先进检测器中并带来一致的性能提升？
• RQ4 边界特征在多大程度上促进了分类和回归性能的提升，尤其是在高 IoU 阈值下？
• RQ5 BorderDet 是否能在不使用复杂技巧（如多尺度测试或复杂数据增强）的情况下实现最先进性能？

主要发现

• 使用 ResNet-50 主干网络时，BorderDet 将 FCOS 的 AP 提升了 2.8 个百分点（从 38.6 提升至 41.4），在定位和分类方面均取得显著提升。
• 使用 ResNeXt-101-DCN 主干网络时，BorderDet 在 COCO test-dev 上达到了 50.3 AP，成为单阶段和两阶段检测器中的新最先进结果。
• 与 FCOS 相比，IoU > 0.5 的边界框预测数量增加了约 30%，IoU > 0.9 的预测数量几乎翻倍。
• 在 RetinaNet 上，添加 BorderDet 模块使 AP 提升了 2.3 个百分点（从 36.1 提升至 38.4），表明其在单阶段检测器中具有强大的泛化能力。
• 对于基于 FPN 的两阶段检测器，所提出的 BorderRPN 模块使 AP 提升了 3.6 个百分点（从 37.1 提升至 40.7），证实其在两阶段设置下的有效性。
• 即使仅训练 90k 次迭代，BorderDet 也达到了 43.2 AP，超越了标准设置下 FSAF 和 CornerNet 等无锚框方法。