[論文レビュー] Adaptive Rotated Convolution for Rotated Object Detection

Yifan Pu, Yiru Wang+7 more|arXiv (Cornell University)|Mar 14, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

本稿では、特徴マップ内のオブジェクトの方向に応じて畳み込みカーネルを自己調整的に回転させる、プラグアンドプレイ型モジュールであるAdaptive Rotated Convolution (ARC)を提案する。条件付き計算と方向に敏感なカーネル回転を組み合わせることで、回転オブジェクト検出における特徴抽出を向上させ、Oriented R-CNNを用いたDotaで81.77%のmAPという最先端の性能を達成し、複数の検出器で顕著な向上を示した。

ABSTRACT

Rotated object detection aims to identify and locate objects in images with arbitrary orientation. In this scenario, the oriented directions of objects vary considerably across different images, while multiple orientations of objects exist within an image. This intrinsic characteristic makes it challenging for standard backbone networks to extract high-quality features of these arbitrarily orientated objects. In this paper, we present Adaptive Rotated Convolution (ARC) module to handle the aforementioned challenges. In our ARC module, the convolution kernels rotate adaptively to extract object features with varying orientations in different images, and an efficient conditional computation mechanism is introduced to accommodate the large orientation variations of objects within an image. The two designs work seamlessly in rotated object detection problem. Moreover, ARC can conveniently serve as a plug-and-play module in various vision backbones to boost their representation ability to detect oriented objects accurately. Experiments on commonly used benchmarks (DOTA and HRSC2016) demonstrate that equipped with our proposed ARC module in the backbone network, the performance of multiple popular oriented object detectors is significantly improved (\eg +3.03\% mAP on Rotated RetinaNet and +4.16\% on CFA). Combined with the highly competitive method Oriented R-CNN, the proposed approach achieves state-of-the-art performance on the DOTA dataset with 81.77\% mAP. Code is available at \url{https://github.com/LeapLabTHU/ARC}.

研究の動機と目的

• 空中および自然画像における任意かつ変化する方向をとるオブジェクトを検出する課題に対処すること。
• 固定されたカーネル方向を持つ従来の畳み込みバックボーンは、回転オブジェクト検出において最適でないため、特徴表現を改善すること。
• 既存の検出パイプラインにアーキテクチャの大幅な見直しを加えずにシームレスに統合可能な、軽量で効率的なモジュールを設計すること。
• バックボーンネットワークが入力ごとにカーネルの向きを自己調整可能にすることで、複数の方向を持つオブジェクトの検出精度を向上させること。

提案手法

• ARCは、入力特徴マップに基づいて最適な回転角度を予測するルーティング関数を導入し、データに依存するカーネルの適応を可能にする。
• 計算コストを低減しつつ表現能力を向上させるために、複数の回転カーネルを適応的重み予測ブランチで学習的に組み合わせる条件付き計算を採用する。
• ルーティング関数における空間的方向感度を強化するため、グローバル平均プーリングの前段階に空間符号化モジュール（深度可変畳み込み + バッチ正規化 + ReLU）を追加する。
• 複数の回転カーネルを独立して計算し、学習された重みで統合することで、計算量を削減しつつ別々の畳み込みを模倣する。
• ARCモジュールは、ResNetなどの任意のバックボーンネットワークにおける標準的な3×3畳み込みの即時置換として設計されており、ARC-ResNetを形成する。
• ルーティング関数は、局所的な特徴パターンに応じて動的に回転カーネルを選択・統合し、1枚の画像内に多様なオブジェクト方向が存在する状況にも柔軟に対応できる。

実験結果

リサーチクエスチョン

• RQ1 学習可能でデータに依存するカーネル回転メカニズムは、自然および空中画像における回転オブジェクト検出の特徴抽出を改善できるか？
• RQ2 計算コストの増加を伴わせずに、1枚の画像内で複数のオブジェクト方向を処理できるバックボーンモジュールはどのように設計できるか？
• RQ3 空間符号化と適応的カーネル統合の性能への影響は何か？
• RQ4 ARCのようなプラグアンドプレイモジュールは、標準ベンチマーク上での既存の回転オブジェクト検出器の精度をどの程度向上できるか？

主な発見

• 提案されたARCモジュールは、DotaベンチマークにおいてRotated RetinaNetを+3.03% mAP向上させた。
• CFAに適用した場合、+4.16% mAPの向上を達成し、検出器アーキテクチャを越えた強力な汎化性能を示した。
• Oriented R-CNNとARC-ResNet-50を組み合わせた場合、Dota-v1.0データセットで最先端の81.77% mAPを達成した。
• アブレーションスタディの結果、ルーティング関数における空間符号化と適応的カーネル統合の両方が性能向上に寄与しており、完全な設計が最良の結果をもたらした。
• バックボーンの最後の3段階の畳み込み層を置き換えることで、最も高い性能向上が得られた。これは、深層特徴が方向適応に最も恩恵を受けることを示している。
• 可視化結果から、ARCは多様な状況下で小・中・大の回転オブジェクトの局所化と検出精度を顕著に向上させた。