[論文レビュー] Oriented Object Detection in Aerial Images with Box Boundary-Aware Vectors

Jingru Yi, Pengxiang Wu+4 more|arXiv (Cornell University)|Aug 17, 2020

Advanced Neural Network Applications参考文献 27被引用数 8

ひとこと要約

本稿では、空中画像における回転物体検出のための1段階型、アンカーフリーな手法を提案する。この手法は、ボックス境界認識ベクトル（BBAVectors）を用いて回転境界ボックスを表現する。回転座標系における幅、高さ、角度の回帰ではなく、固定されたデカルト座標系内での物体中心の検出と、上、右、下、左の4つのベクトルの回帰により、特にコーナーケースにおいても精度とロバスト性を向上させる。HRSC2016で88.6%のmAPを達成し、最先端の手法を上回る性能を発揮する。

ABSTRACT

Oriented object detection in aerial images is a challenging task as the objects in aerial images are displayed in arbitrary directions and are usually densely packed. Current oriented object detection methods mainly rely on two-stage anchor-based detectors. However, the anchor-based detectors typically suffer from a severe imbalance issue between the positive and negative anchor boxes. To address this issue, in this work we extend the horizontal keypoint-based object detector to the oriented object detection task. In particular, we first detect the center keypoints of the objects, based on which we then regress the box boundary-aware vectors (BBAVectors) to capture the oriented bounding boxes. The box boundary-aware vectors are distributed in the four quadrants of a Cartesian coordinate system for all arbitrarily oriented objects. To relieve the difficulty of learning the vectors in the corner cases, we further classify the oriented bounding boxes into horizontal and rotational bounding boxes. In the experiment, we show that learning the box boundary-aware vectors is superior to directly predicting the width, height, and angle of an oriented bounding box, as adopted in the baseline method. Besides, the proposed method competes favorably with state-of-the-art methods. Code is available at https://github.com/yijingru/BBAVectors-Oriented-Object-Detection.

研究の動機と目的

• 物体が密集しており任意の方向を向いている空中画像における回転物体検出の課題に対処すること。
• 特に顕著な正例・負例の不均衡と計算コストの問題を抱えるアンカーベース検出器の限界を克服すること。
• グループ化に時間がかかる問題を避けることで、より高速で正確な検出を実現するキーポイントベース手法の改善。
• 回転に対して不変で、幅、高さ、角度を直接学習するのよりも学習が容易な、回転境界ボックスの表現を設計すること。
• 座標軸に近い方向に回転したボックスが発生するコーナーケースにおいて、ベクトル分類が曖昧になる問題を処理すること。

提案手法

• キーポイントベースの検出器を用いて物体中心キーポイントを検出することで、回転境界ボックスの予測の基盤を構築する。
• ボックス境界認識ベクトル（BBAVectors）を導入：固定されたデカルト座標系内での中心から上、右、下、左の境界までの距離を表す4つのベクトル（t, r, b, l）。
• BBAVectorsは1段階型、アンカーフリーな方法で学習され、領域提案ネットワークやアンカー生成の必要がなくなる。
• ベクトルがx軸およびy軸に近いコーナーケースに対処するため、ボックスを水平境界ボックス（HBB）と回転境界ボックス（RBB）のタイプに分類し、一般化を向上させるために別々の回帰ヘッドを用いる。
• モデルはResNet101バックボーンを用い、標準の検出ヘッドで学習され、中心キーポイントおよびベクトル回帰のための損失関数が最適化されている。
• 本手法はDOTAおよびHRSC2016データセットで評価され、ベースラインのCenter+wh+θおよび最先端の手法と比較されている。

実験結果

リサーチクエスチョン

• RQ1 BBAVectorsを用いた1段階型、アンカーフリー検出器は、従来のアンカーベースおよびキーポイントベース手法を上回る性能を発揮できるか？
• RQ2 固定されたデカルト座標系内でボックス境界認識ベクトルを学習することで、回転座標系内での幅、高さ、角度の回帰に比べ、一般化性能が向上し、回帰の難易度が低下するか？
• RQ3 提案された方向分類（HBB対RBB）は、座標軸に近いコーナーケースにおける性能低下をどれほど効果的に緩和できるか？
• RQ4 2段階型や複雑なアンカーベース検出器と比較して、BBAVectorsは推論速度とモデル効率にどのような影響を与えるか？
• RQ5 BBAVector表現は、DOTAやHRSC2016といったベンチマークデータセットにおけるmAPにどの程度向上効果をもたらすか？

主な発見

• 提案されたBBAVectors+rh手法は、HRSC2016データセットで88.6%のmAPを達成し、ベースラインのCenter+wh+θ手法を4.82ポイント上回った。
• DOTAデータセットでは、BBAVectors+rhが71.61%のmAPを達成し、ベースラインのCenter+wh+θより2.74ポイントの向上を示した。
• BBAVectors+rhは、HRSC2016でBBAVectors+rより0.4%向上し、DOTAでは0.71%向上した。これは、コーナーケースにおけるHBB/RBBの別々の処理が有効であることを示している。
• 単一のNVIDIA TITAN X GPU上で12.88 FPSで動作し、ROI Transformerの2.18倍の高速さを示しており、推論効率が非常に高いことがわかった。
• 本手法は、HRSC2016およびDOTAの両方で最先端の性能を達成し、mAPにおいてR2PN、RRD、ROI Transformerを上回った。
• アブレーションスタディの結果、BBAVectorsは特に座標軸に近い領域で方向の曖昧性が高い場合に、w、h、θの直接回帰よりもロバストであることが確認された。