[论文解读] AO2-DETR: Arbitrary-Oriented Object Detection Transformer

Linhui Dai, Hong Liu+3 more|arXiv (Cornell University)|May 25, 2022

Advanced Neural Network Applications被引用 11

一句话总结

AO2-DETR 是一种新型的端到端基于 Transformer 的任意方向目标检测器，引入了定向建议生成、自适应特征优化和旋转感知匹配机制，消除了锚框和 NMS 等人工设计组件。通过利用可学习的定向查询和旋转不变特征，其在 DOTA、HRSC2016 和 SKU110K-R 上实现了最先进性能，优于以往的无锚框和单阶段方法。

ABSTRACT

Arbitrary-oriented object detection (AOOD) is a challenging task to detect objects in the wild with arbitrary orientations and cluttered arrangements. Existing approaches are mainly based on anchor-based boxes or dense points, which rely on complicated hand-designed processing steps and inductive bias, such as anchor generation, transformation, and non-maximum suppression reasoning. Recently, the emerging transformer-based approaches view object detection as a direct set prediction problem that effectively removes the need for hand-designed components and inductive biases. In this paper, we propose an Arbitrary-Oriented Object DEtection TRansformer framework, termed AO2-DETR, which comprises three dedicated components. More precisely, an oriented proposal generation mechanism is proposed to explicitly generate oriented proposals, which provides better positional priors for pooling features to modulate the cross-attention in the transformer decoder. An adaptive oriented proposal refinement module is introduced to extract rotation-invariant region features and eliminate the misalignment between region features and objects. And a rotation-aware set matching loss is used to ensure the one-to-one matching process for direct set prediction without duplicate predictions. Our method considerably simplifies the overall pipeline and presents a new AOOD paradigm. Comprehensive experiments on several challenging datasets show that our method achieves superior performance on the AOOD task.

研究动机与目标

• 为解决锚框依赖和无锚框方法在任意方向目标检测中对人工设计组件（如锚框、NMS 和复杂超参数）的依赖问题。
• 消除归纳偏置以及锚框生成、变换和非极大值抑制等预/后处理步骤。
• 在保持对旋转、密集排列和小目标的检测精度的前提下，通过 Transformer 实现直接集合预测。
• 通过旋转不变特征学习和定向查询设计，提升旋转目标的特征对齐与表征能力。

提出的方法

• 提出一种定向建议生成机制，通过显式引入方向先验的物体查询，提升解码器中注意力对齐效果。
• 采用自适应定向建议优化模块，提取旋转不变的区域特征，减少特征与旋转目标之间的错位。
• 使用旋转感知的集合匹配损失，强制实现一对一预测匹配，防止重复检测，并提升在旋转和尺度变化下的泛化能力。
• 采用标准的 Transformer 编码器-解码器架构，解码器直接从学习到的物体查询生成定向边界框，无需锚框或后处理。
• 利用带有定向查询的交叉注意力机制，实现自适应、排列不变的感受野，自然处理不规则方向和复杂排列的物体。
• 在解码器中采用迭代边界框优化，逐步提升预测精度，增强定位能力。

实验结果

研究问题

• RQ1 基于 Transformer 的检测器是否能在不依赖锚框或人工设计组件的前提下，在任意方向目标检测中实现更优性能？
• RQ2 如何设计物体查询以融入方向先验，从而提升旋转目标的特征对齐？
• RQ3 旋转感知匹配损失在实现旋转目标准确一对一预测匹配中起到何种作用？
• RQ4 自适应特征优化如何增强对旋转和密集排列目标的表征学习能力？
• RQ5 采用定向建议与旋转不变特征的端到端训练，是否能超越现有的无锚框和单阶段检测器？

主要发现

• AO2-DETR 在 DOTA-v1.0 数据集上达到 77.73% 的 mAP，显著优于以往的无锚框和单阶段方法。
• 将查询数量从 150 增加到 300 时，mAP 从 68.06% 提升至 77.73%，表明充足的查询容量对检测密集和定向目标至关重要。
• 当查询数量超过 300（如 350 和 400）时，性能略有下降，表明冗余查询在密集场景中会干扰检测。
• 该方法保持了较高的推理速度，在 DOTA-v1.0 上达到 14.0 FPS，在 HRSC2016 上达到 16.0 FPS（使用 300 个查询），展现了良好的速度与精度权衡。
• 消融实验证实，定向建议生成、自适应优化和旋转感知损失均为实现最优性能的关键组件。
• 增加独立的角度预测分支后，性能从 77.73% 降至 59.20%，表明端到端回归全部五个参数（x, y, w, h, θ）比解耦角度预测更有效。