[论文解读] Adaptive Rotated Convolution for Rotated Object Detection

Yifan Pu, Yiru Wang+7 more|arXiv (Cornell University)|Mar 14, 2023

Advanced Neural Network Applications被引用 6

一句话总结

本文提出自适应旋转卷积（ARC），一种即插即用模块，使卷积主干网络能够根据特征图中物体的方向自适应地旋转卷积核。通过结合条件计算与方向感知的卷积核旋转，ARC 改进了旋转目标检测的特征提取，在 DOTA 上使用 Oriented R-CNN 达到 81.77% 的 mAP，创下最先进水平，并在多个检测器上实现显著提升。

ABSTRACT

Rotated object detection aims to identify and locate objects in images with arbitrary orientation. In this scenario, the oriented directions of objects vary considerably across different images, while multiple orientations of objects exist within an image. This intrinsic characteristic makes it challenging for standard backbone networks to extract high-quality features of these arbitrarily orientated objects. In this paper, we present Adaptive Rotated Convolution (ARC) module to handle the aforementioned challenges. In our ARC module, the convolution kernels rotate adaptively to extract object features with varying orientations in different images, and an efficient conditional computation mechanism is introduced to accommodate the large orientation variations of objects within an image. The two designs work seamlessly in rotated object detection problem. Moreover, ARC can conveniently serve as a plug-and-play module in various vision backbones to boost their representation ability to detect oriented objects accurately. Experiments on commonly used benchmarks (DOTA and HRSC2016) demonstrate that equipped with our proposed ARC module in the backbone network, the performance of multiple popular oriented object detectors is significantly improved (\eg +3.03\% mAP on Rotated RetinaNet and +4.16\% on CFA). Combined with the highly competitive method Oriented R-CNN, the proposed approach achieves state-of-the-art performance on the DOTA dataset with 81.77\% mAP. Code is available at \url{https://github.com/LeapLabTHU/ARC}.

研究动机与目标

• 解决在航空和自然图像中检测具有任意且变化方向的物体的挑战。
• 改进标准卷积主干网络的特征表示，因其固定卷积核方向而对旋转目标检测表现不佳。
• 设计一种轻量化、高效的模块，可无缝集成到现有检测流程中，无需对网络架构进行大规模修改。
• 使主干网络能够根据输入自适应调整卷积核方向，从而提升多方向物体的检测精度。

提出的方法

• ARC 引入一个路由函数，根据输入特征图预测最优卷积核旋转角度，实现基于数据的卷积核自适应。
• 通过学习多个旋转卷积核的自适应加权组合，采用条件计算机制，在降低计算成本的同时提升表示能力。
• 在全局平均池化前添加空间编码模块（深度可分离卷积 + 归一化 + ReLU），以增强路由函数中的空间方向感知能力。
• 多个旋转卷积核独立计算后，通过可学习权重进行融合，模拟多个独立卷积操作，同时减少计算量。
• ARC 模块被设计为标准 3×3 卷积的即插即用替代品，可应用于任意主干网络（如 ResNet），形成 ARC-ResNet。
• 路由函数根据局部特征模式动态选择并组合旋转卷积核，使网络能够灵活响应单张图像中多样的物体方向。

实验结果

研究问题

• RQ1 可学习的、基于数据的卷积核旋转机制是否能提升自然和航空图像中旋转目标检测的特征提取性能？
• RQ2 如何设计主干模块，使其在不增加计算成本的前提下处理单张图像中的多种物体方向？
• RQ3 空间编码与自适应卷积核组合对旋转目标检测器性能的影响如何？
• RQ4 像 ARC 这类即插即用模块在标准基准上，能在多大程度上提升现有旋转目标检测器的精度？

主要发现

• 所提出的 ARC 模块在 DOTA 基准上将 Rotated RetinaNet 的 mAP 提升了 +3.03%。
• 在 CFA 上应用该方法后，mAP 提升达 +4.16%，表明其在不同检测器架构间具有强大的泛化能力。
• 使用 Oriented R-CNN 和 ARC-ResNet-50 时，该方法在 DOTA-v1.0 数据集上达到最先进水平的 81.77% mAP。
• 消融实验确认，路由函数中的空间编码与自适应卷积核组合均对性能有贡献，完整设计取得最佳结果。
• 在主干网络最后三个阶段替换卷积层可获得最高性能提升，表明深层特征最受益于方向自适应。
• 可视化结果表明，ARC 显著提升了在多样化场景下小、中、大尺寸定向物体的定位与检测精度。