[論文レビュー] Align Deep Features for Oriented Object Detection

Jiaming Han, Jian Ding+2 more|arXiv (Cornell University)|Aug 21, 2020

Advanced Neural Network Applications参考文献 49被引用数 15

ひとこと要約

本稿では、アンカーの再調整とアライメント畳み込みを備えた特徴アライメントモジュール（FAM）と、アクティブな回転フィルタを用いたオriented検出モジュール（ODM）を導入することで、空中画像における特徴の不一致を是正する、1ショット方向付きオブジェクト検出フレームワークS2A-Netを提案する。本手法は、1地点あたり1つのアンカーのみを用いることで、DOTAで79.42%、HRSC2016で95.01%のSOTA mAPを達成し、従来手法を大きく上回りながらも高い効率性を維持している。

ABSTRACT

The past decade has witnessed significant progress on detecting objects in aerial images that are often distributed with large scale variations and arbitrary orientations. However most of existing methods rely on heuristically defined anchors with different scales, angles and aspect ratios and usually suffer from severe misalignment between anchor boxes and axis-aligned convolutional features, which leads to the common inconsistency between the classification score and localization accuracy. To address this issue, we propose a Single-shot Alignment Network (S$^2$A-Net) consisting of two modules: a Feature Alignment Module (FAM) and an Oriented Detection Module (ODM). The FAM can generate high-quality anchors with an Anchor Refinement Network and adaptively align the convolutional features according to the anchor boxes with a novel Alignment Convolution. The ODM first adopts active rotating filters to encode the orientation information and then produces orientation-sensitive and orientation-invariant features to alleviate the inconsistency between classification score and localization accuracy. Besides, we further explore the approach to detect objects in large-size images, which leads to a better trade-off between speed and accuracy. Extensive experiments demonstrate that our method can achieve state-of-the-art performance on two commonly used aerial objects datasets (i.e., DOTA and HRSC2016) while keeping high efficiency. The code is available at https://github.com/csuhan/s2anet.

研究の動機と目的

• 空中画像における軸に揃った特徴と方向付きオブジェクトインスタンスの間の著しい不一致を是正すること。
• 複数のスケール、角度、アスペクト比を持つヒューリスティックに設計されたアンカーへの依存を低減すること。
• 1段階検出器における分類スコアと局所化精度の不一致を軽減すること。
• 大きなサイズの空中画像において、望ましいスピード-精度トレードオフを実現する効率的な検出を可能にすること。
• 1つのアンカー設計によりSOTA性能を達成し、計算コストを最小限に抑えること。

提案手法

• 初期アンカーをアンカーリファインメントネットワークを用いて回転アンカーに精練する特徴アライメントモジュール（FAM）を提案する。
• 精練されたアンカーボックスに基づいて、特徴のサンプリング位置を動的に再配置するアライメント畳み込み層を導入する。
• 特徴抽出段階で方向に敏感な特徴を直接符号化するため、アクティブな回転フィルタを備えたオriented検出モジュール（ODM）を採用する。
• 1地点あたり1つのアンカーを用いることで、複雑なアンカーデザインの必要性を排除し、計算コストを低減する。
• マルチスケール推論と特徴マップピラミッドネットワーク（FPN）を適用し、大規模な空中画像における検出性能を向上させる。
• 一括パイプラインを1段階検出器に統合することで、高速な推論とエンドツーエンドの学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 軸に揃った特徴と方向付きオブジェクトの間の特徴の不一致は、検出精度の向上に向け効果的に是正可能か？
• RQ2 1つのアンカー設計が、計算コストを最小限に抑えつつ、方向付き空中オブジェクト検出でSOTA性能を達成可能か？
• RQ3 標準的な畳み込み演算と比較して、アクティブな回転フィルタは方向情報の符号化をより効果的に行えるか？
• RQ4 精練されたアンカーによる特徴のアライメントは、分類スコアと局所化精度の整合性を向上させるか？
• RQ5 本手法は、大規模な空中画像において優れた精度を維持しながらも、高いスピードを維持できるか？

主な発見

• S2A-Netは、ResNet-50-FPNバックボーンを用いた場合、DOTAで79.42%のmAP、12.7 FPSを達成し、2段階および1段階検出器をすべて上回った。
• HRSC2016では、PASCAL VOC2012の評価基準下で95.01%のmAPを達成し、前回の最高記録を2.21%上回ったが、アンカーは1つのみであった。
• ResNet-101-FPNバックボーンを用いた場合、DOTAで76.11%のmAPを達成し、新たなSOTAベンチマークを樹立した。
• DOTAの15のカテゴリのうち10カテゴリでS2A-Netが最高性能を記録し、特にブリッジやスイミングポoolなど難しいカテゴリで顕著な優位性を示した。
• RetinaNetとの定性的比較から、密な状況やスケールが変動するシーンにおける誤検出（フォールス・ポジティブ）が低減されたことが示された。
• アブレーションスタディの結果、FAMおよびODMの両コンponentsが性能向上に顕著な寄与をしていることが確認された。