[论文解读] Align Deep Features for Oriented Object Detection

Jiaming Han, Jian Ding+2 more|arXiv (Cornell University)|Aug 21, 2020

Advanced Neural Network Applications参考文献 49被引用 15

一句话总结

该论文提出S2A-Net，一种单阶段定向目标检测框架，通过引入具有锚点优化与对齐卷积的特征对齐模块（FAM）以及使用主动旋转滤波器的定向检测模块（ODM），解决了航空影像中特征错位的问题。该方法在DOTA数据集上达到79.42%的mAP，在HRSC2016数据集上达到95.01%的mAP，且每个位置仅使用一个锚点，显著优于先前方法，同时保持高效率。

ABSTRACT

The past decade has witnessed significant progress on detecting objects in aerial images that are often distributed with large scale variations and arbitrary orientations. However most of existing methods rely on heuristically defined anchors with different scales, angles and aspect ratios and usually suffer from severe misalignment between anchor boxes and axis-aligned convolutional features, which leads to the common inconsistency between the classification score and localization accuracy. To address this issue, we propose a Single-shot Alignment Network (S$^2$A-Net) consisting of two modules: a Feature Alignment Module (FAM) and an Oriented Detection Module (ODM). The FAM can generate high-quality anchors with an Anchor Refinement Network and adaptively align the convolutional features according to the anchor boxes with a novel Alignment Convolution. The ODM first adopts active rotating filters to encode the orientation information and then produces orientation-sensitive and orientation-invariant features to alleviate the inconsistency between classification score and localization accuracy. Besides, we further explore the approach to detect objects in large-size images, which leads to a better trade-off between speed and accuracy. Extensive experiments demonstrate that our method can achieve state-of-the-art performance on two commonly used aerial objects datasets (i.e., DOTA and HRSC2016) while keeping high efficiency. The code is available at https://github.com/csuhan/s2anet.

研究动机与目标

• 解决航空影像中轴对齐特征与定向目标实例之间严重的错位问题。
• 减少对多尺度、多角度、多长宽比的启发式设计锚点的依赖。
• 缓解单阶段检测器中分类分数与定位精度之间的不一致性。
• 在大尺寸航空影像上实现高效检测，具备良好的速度-精度权衡。
• 通过单锚点设计实现最先进性能，最大限度降低计算开销。

提出的方法

• 提出特征对齐模块（FAM），通过锚点优化网络将初始锚点细化为旋转锚点。
• 引入对齐卷积层，根据优化后的锚框自适应调整特征采样位置，以实现特征对齐。
• 采用具有主动旋转滤波器的定向检测模块（ODM），在特征提取阶段直接编码方向感知特征。
• 每个位置仅使用一个锚点，消除复杂锚点设计的需求并降低计算成本。
• 应用多尺度推理与特征金字塔网络（FPN）以提升在大尺寸航空影像上的检测性能。
• 将整个流程集成到单阶段检测器中，实现高推理速度与端到端训练。

实验结果

研究问题

• RQ1 轴对齐特征与定向目标之间的特征错位是否能被有效缓解，从而提升检测精度？
• RQ2 单锚点设计是否能在保持低计算成本的同时实现定向航空目标检测的最先进性能？
• RQ3 与标准卷积操作相比，主动旋转滤波器是否能更优地编码方向信息？
• RQ4 通过优化锚点对齐特征是否能提升分类分数与定位精度之间的一致性？
• RQ5 所提出方法是否能在保持高推理速度的同时，在大尺寸航空影像上实现卓越的检测精度？

主要发现

• 在使用ResNet-50-FPN主干网络时，S2A-Net在DOTA数据集上达到79.42%的mAP，推理速度为12.7 FPS，优于所有两阶段与单阶段检测器。
• 在HRSC2016数据集上，S2A-Net在PASCAL VOC2012指标下达到95.01%的mAP，较之前最佳结果提升2.21%，且仅使用一个锚点。
• 在使用ResNet-101-FPN主干网络时，S2A-Net在DOTA数据集上达到76.11%的mAP，创下新的SOTA基准。
• 在DOTA的15个类别中有10个类别中，S2A-Net表现最佳，尤其在桥梁与游泳池等困难类别上优势明显。
• 定性对比显示，与RetinaNet相比，该模型在密集与尺度变化场景中显著减少了误检。
• 消融实验验证了FAM与ODM组件对性能提升均有显著贡献。