[論文レビュー] AO2-DETR: Arbitrary-Oriented Object Detection Transformer

Linhui Dai, Hong Liu+3 more|arXiv (Cornell University)|May 25, 2022

Advanced Neural Network Applications被引用数 11

ひとこと要約

AO2-DETR は、アンカー や NMS といった手作業で設計されたコンponents を排除するための、任意方向のオブジェクト検出を目的としたエンドツーエンドのトランスフォーマー基盤検出器である。方向付きプロポーザル生成、アダプティブ特徴再設計、回転に敏感なマッチングを導入することで、学習可能な方向付きクエリと回転不変特徴を活用し、DOTA、HRSC2016、SKU110K-R で最先端の性能を達成した。従来のアンカー不要かつシングルステージ手法を上回った。

ABSTRACT

Arbitrary-oriented object detection (AOOD) is a challenging task to detect objects in the wild with arbitrary orientations and cluttered arrangements. Existing approaches are mainly based on anchor-based boxes or dense points, which rely on complicated hand-designed processing steps and inductive bias, such as anchor generation, transformation, and non-maximum suppression reasoning. Recently, the emerging transformer-based approaches view object detection as a direct set prediction problem that effectively removes the need for hand-designed components and inductive biases. In this paper, we propose an Arbitrary-Oriented Object DEtection TRansformer framework, termed AO2-DETR, which comprises three dedicated components. More precisely, an oriented proposal generation mechanism is proposed to explicitly generate oriented proposals, which provides better positional priors for pooling features to modulate the cross-attention in the transformer decoder. An adaptive oriented proposal refinement module is introduced to extract rotation-invariant region features and eliminate the misalignment between region features and objects. And a rotation-aware set matching loss is used to ensure the one-to-one matching process for direct set prediction without duplicate predictions. Our method considerably simplifies the overall pipeline and presents a new AOOD paradigm. Comprehensive experiments on several challenging datasets show that our method achieves superior performance on the AOOD task.

研究の動機と目的

• アンカーに基づく手法やアンカー不要手法の限界を解決すること。これらはアンカー、NMS、複雑なハイパーパrameter といった手作業で設計されたコンponents に依存している。
• 方向付き検出において、アンカー生成、変換、非最大抑制（NMS）といったインダクティブバイアスや前処理／後処理ステップを排除すること。
• トランスフォーマーを用いて直接セット予測を可能にするとともに、回転した、密集した、小さなオブジェクトの検出精度を維持すること。
• 回転不変特徴学習と方向付きクエリ設計により、回転オブジェクトの特徴の整合性と表現力を向上させること。

提案手法

• デコーダー内のアテンションの整合性を向上させるために、明示的な方向性の事前知識を持つオブジェクトクエリを学習する方向付きプロポーザル生成機構を導入する。
• 回転不変の領域特徴を抽出し、特徴と回転オブジェクトのずれを低減する、アダプティブな方向付きプロポーザルリファインメントモジュールを採用する。
• 1対1の予測マッチングを強制する回転に敏感なセットマッチング損失を用いることで、重複検出を防ぎ、回転およびスケール変動に対する一般化性能を向上させる。
• 標準的なトランスフォーマー エンコーダ-デコーダ アーキテクチャを採用し、アンカーボックスや後処理を一切用いずに、学習済みのオブジェクトクエリから直接方向付きバウンディングボックスを生成する。
• 方向付きクエリを用いたクロスアテンションにより、適応的かつ置換不変の受容 field を実現し、不規則に方向付けられた複雑に配置されたオブジェクトを自然に処理できる。
• デコーダー内で繰り返しバウンディングボックスのリファインメントを実行し、予測を段階的に改善することで、局所化精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 アンカーボックスや手作業で設計されたコンponents に依存せずに、トランスフォーマー基盤検出器が任意方向のオブジェクト検出で優れた性能を達成できるか？
• RQ2 オブジェクトクエリはどのように設計すれば、方向性の事前知識を組み込み、回転オブジェクトの特徴の整合性を向上させられるか？
• RQ3 回転に敏感なマッチング損失は、回転オブジェクトの正確な1対1予測マッチングを実現するために果たす役割は何か？
• RQ4 アダプティブ特徴リファインメントは、回転および密集したオブジェクトの表現学習をどのように向上させるか？
• RQ5 方向付きプロポーザルと回転不変特徴を用いたエンドツーエンド学習は、既存のアンカー不要およびシングルステージ検出器を上回る性能を発揮できるか？

主な発見

• AO2-DETR は DOTA-v1.0 データセットで 77.73% の mAP を達成し、従来のアンカー不要およびシングルステージ手法を顕著に上回った。
• クエリ数を 150 から 300 に増加させると、mAP は 68.06% から 77.73% に向上した。これは、密集したおよび方向付きオブジェクトを検出するにあたり、十分なクエリ容量が不可欠であることを示している。
• クエリ数が 300 を超えると（350 および 400 に増加）性能がわずかに低下した。これは、冗長なクエリが密集したシーンでの検出に悪影響を及えることを示している。
• 高い推論速度を維持しており、300 クエリで DOTA-v1.0 で 14.0 FPS、HRSC2016 で 16.0 FPS を達成した。速度と精度のバランスが良好である。
• アブレーションスタディーにより、方向付きプロポーザル生成、アダプティブリファインメント、回転に敏感な損失が最適性能を発揮するために不可欠なコンponents であることが確認された。
• 別個の角度予測ブランチを追加すると、mAP は 77.73% から 59.20% に低下した。これは、すべての5つのパラメータ（x, y, w, h, θ）をエンドツーエンドで回帰する方が、分離した角度予測よりも効果的であることを示している。