[论文解读] Dual Refinement Networks for Accurate and Fast Object Detection in Real-World Scenes

Xingyu Chen, Junzhi Yu+3 more|arXiv (Cornell University)|Jul 23, 2018

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出了双重精炼网络（DRNet）、时间精炼网络（TRNet）以及时间-双重精炼网络（TDRNet），用于在静态图像和视频场景中实现高精度且实时的物体检测。通过整合锚框精炼、特征位置精炼、多可变形头，并结合时间传播与软精炼机制，该方法在保持高速推理的同时，实现了最先进（SOTA）的检测精度——在PASCAL VOC 2007上达到84.4%的mAP，在VOC 2012上达到83.6%，在ImageNet VID 2017上达到69.4%的mAP，在COCO数据集上达到42.4%的AP。

ABSTRACT

Object detection has been vigorously investigated for years but fast accurate detection for real-world scenes remains a very challenging problem. Overcoming drawbacks of single-stage detectors, we take aim at precisely detecting objects for static and temporal scenes in real time. Firstly, as a dual refinement mechanism, a novel anchor-offset detection is designed, which includes an anchor refinement, a feature location refinement, and a deformable detection head. This new detection mode is able to simultaneously perform two-step regression and capture accurate object features. Based on the anchor-offset detection, a dual refinement network (DRNet) is developed for high-performance static detection, where a multi-deformable head is further designed to leverage contextual information for describing objects. As for temporal detection in videos, temporal refinement networks (TRNet) and temporal dual refinement networks (TDRNet) are developed by propagating the refinement information across time. We also propose a soft refinement strategy to temporally match object motion with the previous refinement. Our proposed methods are evaluated on PASCAL VOC, COCO, and ImageNet VID datasets. Extensive comparisons on static and temporal detection verify the superiority of DRNet, TRNet, and TDRNet. Consequently, our developed approaches run in a fairly fast speed, and in the meantime achieve a significantly enhanced detection accuracy, i.e., 84.4% mAP on VOC 2007, 83.6% mAP on VOC 2012, 69.4% mAP on VID 2017, and 42.4% AP on COCO. Ultimately, producing encouraging results, our methods are applied to online underwater object detection and grasping with an autonomous system. Codes are publicly available at this https URL.

研究动机与目标

• 为解决在真实世界静态图像与视频场景中实现高精度与实时性能的物体检测挑战。
• 通过引入双重精炼机制，克服单阶段检测器的局限性，以增强定位精度与特征表示能力。
• 通过在视频帧之间传播精炼信息，提升时间序列中的检测鲁棒性。
• 实现对实际应用场景（如自主水下物体检测与机器人抓取）的实用化部署。

提出的方法

• 提出一种锚框偏移检测机制，通过锚框精炼与特征位置精炼实现两阶段回归。
• 引入多可变形头，以增强上下文特征学习，从而提升物体表征能力。
• 设计DRNet，通过结合锚框偏移检测机制与多可变形头，实现高性能静态图像检测。
• 设计TRNet与TDRNet用于视频检测，通过在时间帧之间传播精炼信息实现性能提升。
• 采用软精炼策略，将物体运动与先前的精炼结果进行时间对齐，实现一致的跟踪效果。
• 利用可变形卷积神经网络，在空间与时间维度上自适应聚焦于相关特征。

实验结果

研究问题

• RQ1 双重精炼机制是否能在不牺牲推理速度的前提下，提升真实场景下的检测精度？
• RQ2 如何有效结合空间与时间特征精炼，以实现鲁棒的视频物体检测？
• RQ3 锚框精炼与特征位置精炼在单阶段检测器中，对定位精度的提升程度如何？
• RQ4 时间维度上传播精炼信息是否能提升视频帧之间的检测一致性？
• RQ5 软精炼策略与刚性跟踪相比，在处理视频中物体运动时表现如何？

主要发现

• DRNet在PASCAL VOC 2007上达到84.4%的mAP，证明其在静态图像检测中处于最先进水平。
• 在PASCAL VOC 2012上，该方法取得83.6%的mAP，验证了其在不同测试划分下的强大泛化能力。
• 在ImageNet VID 2017视频物体检测数据集上，TDRNet达到69.4%的mAP，其时间一致性和精度均优于现有方法。
• 在COCO数据集上，该方法达到42.4%的AP，表明其在大规模、复杂物体检测基准上表现优异。
• 所提出的方法已成功部署于在线水下物体检测与机器人抓取系统，验证了其在真实世界中的适用性。
• 整个系统运行速度极快，尽管精度极高，仍适用于实时自主系统。