[论文解读] Dynamic Refinement Network for Oriented and Densely Packed Object Detection

Xingjia Pan, Yuqiang Ren+6 more|arXiv (Cornell University)|May 20, 2020

Advanced Neural Network Applications参考文献 54被引用 14

一句话总结

该论文提出了一种用于定向且密集排列目标检测的动态精炼网络（DRN），引入了特征选择模块（FSM），可自适应调整感受野以匹配目标形状和方向，并提出了两个动态精炼头（DRH-C 和 DRH-R），用于实现基于目标的分类与回归精炼。该方法在 DOTA、HRSC2016 和 SKU110K-R 基准上实现了持续且显著的性能提升，AP50 最高提升达 65.7%，AP75 提升 36.9%，同时仅增加极少的参数量。

ABSTRACT

Object detection has achieved remarkable progress in the past decade. However, the detection of oriented and densely packed objects remains challenging because of following inherent reasons: (1) receptive fields of neurons are all axis-aligned and of the same shape, whereas objects are usually of diverse shapes and align along various directions; (2) detection models are typically trained with generic knowledge and may not generalize well to handle specific objects at test time; (3) the limited dataset hinders the development on this task. To resolve the first two issues, we present a dynamic refinement network that consists of two novel components, i.e., a feature selection module (FSM) and a dynamic refinement head (DRH). Our FSM enables neurons to adjust receptive fields in accordance with the shapes and orientations of target objects, whereas the DRH empowers our model to refine the prediction dynamically in an object-aware manner. To address the limited availability of related benchmarks, we collect an extensive and fully annotated dataset, namely, SKU110K-R, which is relabeled with oriented bounding boxes based on SKU110K. We perform quantitative evaluations on several publicly available benchmarks including DOTA, HRSC2016, SKU110K, and our own SKU110K-R dataset. Experimental results show that our method achieves consistent and substantial gains compared with baseline approaches. The code and dataset are available at https://github.com/Anymake/DRN_CVPR2020.

研究动机与目标

• 解决轴对齐感受野与任意方向、密集排列目标之间的错位问题。
• 通过在推理阶段用动态、基于目标的精炼替代静态模型预测，实现灵活的、样本特定的推理机制。
• 克服在通用知识上预训练的模型与真实世界定向目标实例特定需求之间的泛化差距。
• 提供一个全新的、完全标注的基准数据集 SKU110K-R，包含定向边界框，以支持该挑战性检测场景下的研究。

提出的方法

• 特征选择模块（FSM）利用可学习的、基于分割的卷积核（如 1×3 和 3×1）动态调整感受野，使其与目标形状和方向对齐，从而提升特征表示能力。
• 引入两个动态精炼头（DRH-C 和 DRH-R）：DRH-C 通过适应目标特定特征来精炼分类分数，而 DRH-R 则以基于目标的方式精炼回归输出（尺度、角度、偏移量）。
• FSM 采用多分支架构，实现形状与旋转两个自由度，使神经元能够根据目标几何结构选择性地关注相关空间区域。
• DRH 通过基于输入特征条件化的动态滤波器实现，可在不显著增加模型参数的前提下，实现样本特定的预测精炼。
• 该方法基于 CenterNet 构建，并增加了一个角度预测头，整个框架采用标准检测损失函数进行端到端训练。
• 通过将原始 SKU110K 数据集重新标注为定向边界框，构建了一个新数据集 SKU110K-R，以支持定向目标检测的评估。

实验结果

研究问题

• RQ1 动态感受野自适应是否能改善对定向且密集排列目标的特征表示？
• RQ2 基于目标的动态精炼头是否能在不增加模型复杂度的前提下提升检测精度？
• RQ3 所提方法在具有多样化目标方向与密集排列特性的基准上表现如何？
• RQ4 新构建的 SKU110K-R 数据集在多大程度上提升了定向目标检测模型的评估能力？

主要发现

• 所提出的 DRN 在 DOTA 验证集上达到 65.7% 的 AP50 和 36.9% 的 AP75，分别较基线模型提升 2.3% 和 2.3%。
• DRH-C 头将分类准确率从 0.21 提升至 0.32，召回率从 0.81 提升至 0.89，表明中心点定位能力显著增强。
• DRH-R 头将尺度回归的 L1 误差降低 1.24，同时使 AP50 和 AP75 分别提升 0.7% 和 0.6%，证明其在回归精炼方面的有效性。
• FSM 将 AP50 从 63.4% 提升至 64.4%，AP75 从 34.6% 提升至 35.7%，证实其在缓解感受野错位问题中的关键作用。
• 完整 DRN（包含 FSM 和 DRH-R）仅增加 0.13M 参数，推理时间提升 26%（从 0.078s 增至 0.102s），展现出高效率。
• 该方法在 DOTA、HRSC2016 和 SKU110K-R 等多个基准上均实现一致的性能提升，展现出强大的泛化能力。