[論文レビュー] Faster RER-CNN: application to the detection of vehicles in aerial images

Jean Ogier du Terrail, Frédéric Jurie|arXiv (Cornell University)|Sep 20, 2018

Advanced Neural Network Applications参考文献 30被引用数 28

ひとこと要約

本稿では、空中画像における車両検出のための回転境界ボックスと物体クラスを同時に予測する、Faster R-CNN の拡張版である Faster RER-CNN を提案する。回転に不変な領域提案と回転版 IoU 評価指標を組み込むことで、VeDAI で最先端の性能を達成し、Munich3K および GoogleEarth でも競争力のある結果を示した。その代償として推論時間は2倍に増加するが、局所化精度と方向推定精度が向上した。

ABSTRACT

Detecting small vehicles in aerial images is a difficult job that can be challenging even for humans. Rotating objects, low resolution, small inter-class variability and very large images comprising complicated backgrounds render the work of photo-interpreters tedious and wearisome. Unfortunately even the best classical detection pipelines like Faster R-CNN cannot be used off-the-shelf with good results because they were built to process object centric images from day-to-day life with multi-scale vertical objects. In this work we build on the Faster R-CNN approach to turn it into a detection framework that deals appropriately with the rotation equivariance inherent to any aerial image task. This new pipeline (Faster Rotation Equivariant Regions CNN) gives, without any bells and whistles, state-of-the-art results on one of the most challenging aerial imagery datasets: VeDAI and give good results w.r.t. the baseline Faster R-CNN on two others: Munich and GoogleEarth .

研究の動機と目的

• 標準の Faster R-CNN が空中画像における小規模で回転した車両を検出する際の限界を解決すること。
• 回転境界ボックスを用いて、物体の位置、クラス、方向を同時に予測する統合的検出フレームワークを構築すること。
• 回転付きと非回転付きの検出器間の公平な比較を可能にする一貫性のある評価指標を提案すること。
• エンドツーエンドの統合的検出と方向推定が、逐次的または分離的アプローチよりも分類精度を向上させることを示すこと。
• 回転に不変な R-CNN アーキテクチャを用いて、空中車両検出のための新たなベースラインを確立すること。

提案手法

• 回転アノテーションを予測できる角度パラメータを備えた回転アーキテクチャを導入することで、領域提案ネットワーク (RPN) を変更し、回転に不変な領域提案を可能にする。
• 非最大抑制 (NMS) および評価のための回転版 IoU 計算を導入し、標準の垂直ボックス IoU を置き換える。
• 回転した領域提案からの空間的に整合された特徴を学習できるように、RoI Align を回転領域に対応させる。
• 分類、境界ボックス回帰（角度を含む）、および回転に配慮した局所化を統合したマルチタスク損失関数を用いる。
• 検出と方向推定の両方のタスクに共通の特徴マップを用いる、完全畳み込み型バックボーン（例：ResNet）を採用する。
• 回転アノテーションを用いた IoU サブセットと mAP メトリクスを用いて、公平な比較を可能にする統一評価プロトコルを適用する。

実験結果

リサーチクエスチョン

• RQ1 空中画像における物体位置と方向の同時予測は、逐次的または分離的予測と比較して、検出精度を向上させることができるか？
• RQ2 RPN に回転境界ボックスを適用することで、小規模な車両検出において再現率を向上させつつ、精度を維持できるか？
• RQ3 回転に不変な検出フレームワークは、空中画像データセットにおいて、標準の垂直境界ボックス検出器よりも効果的か？
• RQ4 回転検出器用の一貫性のある評価指標は、異なる手法間の公平なベンチマークを可能にするか？
• RQ5 提案フレームワークは、複数の空中画像ベンチマークにおいて、ベースラインの Faster R-CNN と比較してどのように性能を発揮するか？

主な発見

• VeDAI データセットでは、10分割交差検証の平均平均精度 (mAP) が 70.88% に達し、Faster R-CNN (67.09%) や FCN ベースラインを上回った。
• VeDAI の車両クラスでは、F1 スコアが Faster R-CNN の 77.69% から 80.2% に上昇し、検出品質の顕著な向上が確認された。
• Munich3K では、AP VOC@0.3 が 87.14%、AP VEDAI が 87.32% を達成し、Faster R-CNN の 85.59% および 85.68% を上回った。
• GoogleEarth では、AP VOC@0.5 が 88.39%、AP VEDAI が 88.53% を達成し、限られた学習データを前提としていたにもかかわらず、Faster R-CNN の 84.81% および 87.37% をわずかに上回った。
• フレームワークは、特に複雑な背景において、任意の方向をとる車両をよりよく捉えることで再現率を向上させた。黄色の円で示された誤検出の定性的な比較からもその効果が示された。
• 推論時間は Faster R-CNN と比較して約2倍遅延（1枚あたり 0.365s 対 0.158s）であるが、方向推定とタイトな境界ボックス推定の精度向上という利点から妥当であるとされた。