[論文レビュー] LR-CNN : Local-aware Region CNN for vehicle detection in aerial imagery

Wentong Liao, Xiang Chen+5 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Neural Network Applications参考文献 24被引用数 2

ひとこと要約

LR-CNNは、空間変換ネットワーク（STN）を用いて浅い層からの特徴再サンプリングにより空間的精度を回復させることで、特徴の局所化を向上させる2段階のオブジェクト検出フレームワークを提案する。RoIAlignとSTNガイドド特徴精錬を組み合わせることで、小形・高密度・任意方向を向いた車両の検出精度が向上し、VEDAIおよびDOTAデータセットで最先端の性能を達成し、よりタイトで正確なバウンディングボックスを実現した。

ABSTRACT

State-of-the-art object detection approaches such as Fast/Faster R-CNN, SSD, or YOLO have difficulties detecting dense, small targets with arbitrary orientation in large aerial images. The main reason is that using interpolation to align RoI features can result in a lack of accuracy or even loss of location information. We present the Local-aware Region Convolutional Neural Network (LR-CNN), a novel two-stage approach for vehicle detection in aerial imagery. We enhance translation invariance to detect dense vehicles and address the boundary quantization issue amongst dense vehicles by aggregating the high-precision RoIs' features. Moreover, we resample high-level semantic pooled features, making them regain location information from the features of a shallower convolutional block. This strengthens the local feature invariance for the resampled features and enables detecting vehicles in an arbitrary orientation. The local feature invariance enhances the learning ability of the focal loss function, and the focal loss further helps to focus on the hard examples. Taken together, our method better addresses the challenges of aerial imagery. We evaluate our approach on several challenging datasets (VEDAI, DOTA), demonstrating a significant improvement over state-of-the-art methods. We demonstrate the good generalization ability of our approach on the DLR 3K dataset. © 2020 Copernicus GmbH. All rights reserved.

研究の動機と目的

• 高解像度の航空画像における小形・高密度・任意方向を向いた車両を検出する課題に対処すること。
• 標準的なR-CNNフレームワークにおけるRoIプーリングおよび補間処理によって生じる空間的精度の損失を克服すること。
• 密な車両シーンにおける局所化精度を向上させ、境界の量子化誤差を低減すること。
• 浅い層からの正確な空間情報と高レベルの意味的特徴を統合することで、特徴表現を向上させること。
• 画像解像度・車両密度・背景の複雑さが異なる多様な航空データセット（DLR 3Kを含む）に対して、強い汎化性能を発揮すること。

提案手法

• 翻訳不変性を向上させ、密な車両検出における境界の量子化誤差を低減する、ローカルに注意を向ける領域CNN（LR-CNN）フレームワークを導入する。
• 浅い特徴マップからアフィン変換パラメータを予測する空間変換ネットワーク（STN）を採用し、より深い意味的特徴の正確な空間的整合性を実現する。
• STNを用いて高レベル特徴を再サンプリングすることで、空間的精度を回復させ、プールされた特徴が正確な位置情報を保持することを保証する。
• 位置に敏感なプーリングを用いたRoIAlignを採用し、標準的なRoIプーリングと比較して空間的不整合を最小限に抑えた高精度な特徴を抽出する。
• 難易度の高い例に注目するため、ファーカスロスを活用し、再サンプリングされた特徴による局所的特徴不変性の向上により性能を強化する。
• RPNの提案領域とSTNガイドド特徴精錬を統合し、より正確な領域提案を生成することで、最終的な分類および局所化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークにおける高レベル意味的特徴は、航空画像における小形・高密度・任意方向を向いた車両に対して、どのように正確な空間的局所化を回復できるか？
• RQ2 浅い層からの特徴再サンプリングは、密な航空シーンにおける検出精度および境界局所化にどの程度向上効果をもたらすか？
• RQ3 空間変換ネットワークに基づく特徴精錬機構は、小形および回転した車両を処理する際、標準的なRoIプーリングを上回る性能を発揮できるか？
• RQ4 ファーカスロスと強化された局所的特徴不変性を統合することで、密な状況下での難易度の高い正例の検出性能はどのように向上するか？
• RQ5 提案手法は、画像解像度・車両密度・背景の複雑さが異なる多様な航空データセットに対して、良好な汎化性能を示すか？

主な発見

• LR-CNNは、VEDAIおよびDOTAデータセットで最先端の性能を達成し、mAPおよび局所化精度においてFaster R-CNNおよびDFLを上回った。
• 定量的比較により、密な車両クラスタにおける境界の量子化誤差が顕著に低減されたことが示され、バウンディングボックスがよりタイトで正確になった。
• DOTAデータセットでは、従来手法よりも高い平均平均精度（mAP）を達成し、特に小形および回転した車両の検出性能が向上した。
• 浅い層からの特徴再サンプリングにSTNを用いることで空間的精度が回復され、任意方向を向いた車両の正確な検出が可能になった。
• 定性的な結果から、LR-CNNはFaster R-CNNおよびDFLよりも多くの車両を検出でき、特に隠蔽・影・高密度クラスタといった困難な状況でも優れた性能を示した。
• モデルは強力な汎化能力を示し、VADAIで学習したモデルでさえ、DLR 3Kデータセットの複雑な領域においても正しく車両を検出できた。