[論文レビュー] Oriented RepPoints for Aerial Object Detection

Wentong Li, Yijie Chen+2 more|arXiv (Cornell University)|May 24, 2021

Robotics and Sensor-Based Localization参考文献 48被引用数 10

ひとこと要約

本論文は、従来の方向回帰よりも任意の方向をより正確にモデル化できるように、適応的ポイントを用いるアンカーフリー空中オブジェクト検出フレームワーク「Oriented RepPoints」を提案する。方向変換関数、品質に配慮したサンプル割り当て方式、空間的制約を導入することで、DOTAでSOTAのmAP 77.63%を達成し、検出と方向推定の両面で回帰ベースの手法を上回る優れた方向精度を実現した。

ABSTRACT

In contrast to the generic object, aerial targets are often non-axis aligned with arbitrary orientations having the cluttered surroundings. Unlike the mainstreamed approaches regressing the bounding box orientations, this paper proposes an effective adaptive points learning approach to aerial object detection by taking advantage of the adaptive points representation, which is able to capture the geometric information of the arbitrary-oriented instances. To this end, three oriented conversion functions are presented to facilitate the classification and localization with accurate orientation. Moreover, we propose an effective quality assessment and sample assignment scheme for adaptive points learning toward choosing the representative oriented reppoints samples during training, which is able to capture the non-axis aligned features from adjacent objects or background noises. A spatial constraint is introduced to penalize the outlier points for roust adaptive learning. Experimental results on four challenging aerial datasets including DOTA, HRSC2016, UCAS-AOD and DIOR-R, demonstrate the efficacy of our proposed approach. The source code is availabel at: https://github.com/LiWentomng/OrientedRepPoints.

研究の動機と目的

• 周期的角損失による不連続性や不整合の問題を引き起こす方向回帰の限界を解消すること。
• 複雑な背景を持つ非軸対称で密集した空中オブジェクトの検出精度を向上させること。
• 直接的な角度回帰に依存せずに、幾何的構造と方向性を捉えることができる頑健なポイントベース表現を開発すること。
• 訓練中に高品質な適応的ポイントを選択するために、品質評価とサンプル割り当て方式を設計すること。
• 空間的制約メカニズムにより外れ値のポイントをペナルティ化することで、ごみだらけのシーンにおける特徴学習を強化すること。

提案手法

• オブジェクトの中心から初期化された適応的ポイントを用い、FPNを介した共有ヘッドによりマルチスケール特徴の学習を実現する。
• 学習されたポイント集合から回転バウンディングボックスを生成するための3種類の方向変換関数を提案する。
• 分類、局所化、方向性、ポイント単位の特徴相関に基づいてポイントの品質を評価する、適応的ポイント評価・割り当て（APAA）方式を設計する。
• 訓練中に、真の値の方向付きバウンディングボックスの外側にあるポイントに対してペナルティを課す空間的制約を適用し、背景ノイズや隣接オブジェクトへの耐性を高める。
• ResNet-FPNとFocal Lossを用いた1段階アンカーフリー検出器アーキテクチャで、エンドツーエンドにモデルを学習する。
• RepPointsスタイルのヘッド構造を活用しつつ、方向に配慮したコンponentsと品質に配慮したサンプリングを拡張することで、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 適応的ポイント表現は、任意の方向をもつ空中オブジェクトを検出する際、直接的な方向回帰を上回ることができるか？
• RQ2 品質評価とサンプル割り当ては、方向付きオブジェクト検出に最も代表的なポイントを選択するためにどのように設計できるか？
• RQ3 空間的制約は、ごみだらけの空中シーンにおける適応的ポイント学習の耐性をどの程度向上させられるか？
• RQ4 ポイントベースのアプローチは、角度ベースの回帰と比較して、空中検出における方向推定誤差を低減できるか？
• RQ5 提案手法は、オブジェクトのスケール、方向、シーンの複雑さが異なる多様な空中データセットに一般化できるか？

主な発見

• Swin-T-FPNを用いたDOTAデータセットで77.63%のmAPを達成し、同じバックボーンを用いたすべての先行研究を上回った。
• HRSC2016ではVOC2012メトリクスで97.26%のmAPを達成し、第1位となり、RetinaNet-O（95.21%）やR3Det（96.01%）を大きく上回った。
• UCAS-AODでは90.11%のmAPを達成し、比較されたすべての手法の中で最高を記録し、小形で複雑に周囲まれたオブジェクトに対しても優れた性能を示した。
• DIOR-Rでは66.71%のmAPを達成し、すべての手法の中で最高であり、20種類の多様な空中オブジェクトカテゴリにわたる強力な一般化能力を示した。
• DOTAでは平均方向誤差（mAOE）が5.93°と最低を記録し、回帰ベースのベースラインと比較して優れた方向精度を確認した。
• アブレーションスタディの結果、APAA方式と空間的制約が、特に密集・ごみだらけのシーンにおいて検出精度と方向精度を顕著に向上させた。