[論文レビュー] Delving into Robust Object Detection from Unmanned Aerial Vehicles: A Deep Nuisance Disentanglement Approach

Zhenyu Wu, Karthik Suresh+4 more|arXiv (Cornell University)|Aug 11, 2019

Advanced Neural Network Applications参考文献 38被引用数 5

ひとこと要約

本稿では、UAVの自由に入手可能なメタデータ（高度、視点角、天候など）を活用して、敵対的訓練中にドメイン固有の不快要因を分離する、深層不快要因分離手法であるNuisance Disentangled Feature Transform（NDFT）を提案する。この手法により、UAV画像におけるロバストなオブジェクト検出が向上し、UAVDTおよびVisDrone2018でSOTAの単一モデル性能を達成した。VisDrone2018ではDE-FPNベースライン比で4.36 mAPの向上を達成し、クロスデータセットの転移学習でも4.23 APの向上を示した。

ABSTRACT

Object detection from images captured by Unmanned Aerial Vehicles (UAVs) is becoming increasingly useful. Despite the great success of the generic object detection methods trained on ground-to-ground images, a huge performance drop is observed when they are directly applied to images captured by UAVs. The unsatisfactory performance is owing to many UAV-specific nuisances, such as varying flying altitudes, adverse weather conditions, dynamically changing viewing angles, etc. Those nuisances constitute a large number of fine-grained domains, across which the detection model has to stay robust. Fortunately, UAVs will record meta-data that depict those varying attributes, which are either freely available along with the UAV images, or can be easily obtained. We propose to utilize those free meta-data in conjunction with associated UAV images to learn domain-robust features via an adversarial training framework dubbed Nuisance Disentangled Feature Transform (NDFT), for the specific challenging problem of object detection in UAV images, achieving a substantial gain in robustness to those nuisances. We demonstrate the effectiveness of our proposed algorithm, by showing state-of-the-art performance (single model) on two existing UAV-based object detection benchmarks. The code is available at https://github.com/TAMU-VITA/UAV-NDFT.

研究の動機と目的

• UAVが撮影した画像に一般化オブジェクト検出器を適用した際の顕著な性能低下を、変動する高度、視点角、天候状態などのUAV固有の不快要因に起因するものとして解決すること。
• GPS高度、気圧、天候データなどの自由に入手可能なUAVメタデータを弱い教師信号として活用し、ドメインに強い特徴学習を実現すること。
• タスク関連特徴から不快要因を分離する深層敵対的フレームワークを構築し、細分化されたドメイン間での一般化を向上させること。
• アンサンブルや過剰パラメータ化を用いずに、既存のUAVオブジェクト検出ベンチマークでSOTAの単一モデル性能を達成すること。
• 学習済み特徴の転送性を向上させ、例えばUAVDTからVisDrone2018への転送が最小限の微調整で効果的に可能であることを示すこと。

提案手法

• 提案されたNuisance Disentangled Feature Transform（NDFT）フレームワークは、敵対的訓練の枠組みを用いて、不快要因（高度、視点角、天候）をオブジェクト検出特徴から分離する。
• NDFTは、検出に必要な特徴を保持しつつ、不快要因に依存しない表現を敵対的に抑制するように、特徴抽出器を同時に最適化するマルチタスク学習設定を採用する。
• 不快要因分離のための3つの補助損失（AL）を導入し、ドメイン識別器を通じて不快要因変数に対する不変性を敵対的訓練で強制する。
• 検出損失と敵対的不快要因損失の重み付き組み合わせを用いてエンドツーエンドで訓練し、ハイパーパrameter γi をグリッドサーチで最適化することで、分離と検出性能のバランスを調整する。
• NDFTはFaster R-CNNおよびDE-FPNバックボーンに適用可能であり、アーキテクチャの変更なしに多様なUAV飛行条件に対応するロバストな検出を実現する。
• 転送性の評価は、UAVDTでNDFTで事前学習した後、検出ヘッドのみを微調整してVisDrone2018で評価することで行い、特徴抽出器は保持する。

実験結果

リサーチクエスチョン

• RQ1 自由に入手可能なUAVメタデータを活用することで、高度、視点角、天候の変動に起因する細分化されたドメイン間でのオブジェクト検出のロバスト性が向上するか？
• RQ2 不快要因の敵対的分離は、標準的な補助損失訓練に比べて、UAVオブジェクト検出でより良い一般化をもたらすか？
• RQ3 NDFT特徴は、VisDrone2018のような未観測のUAVデータセットに、最小限の微調整で効果的に転送可能か？
• RQ4 NDFTの性能は、UAV特化ベンチマークでSOTAの単一モデル検出器と比較してどうか？
• RQ5 1つまたは2つの不快要因の分離ではなく、複数の不快要因（高度、視点、天候）を同時に分離することで、検出精度がどの程度向上するか？

主な発見

• VisDrone2018の検証セットにおいて、DE-FPNベースライン比で4.36 mAPの向上を達成し、単一モデルとしてSOTA性能を達成した。
• UAVDTベンチマークでは、NDFT-Faster R-CNNが全体で59.56 mAPを達成し、ベースラインのFaster R-CNN（52.14 mAP）および補助損失ベースライン（53.64 mAP）を大きく上回った。
• NDFT-DE-FPNモデルは、γi = 0.005の条件下でVisDrone2018で52.77 mAPを達成し、敵対的分離が標準的な補助損失よりも有効であることを示した。
• UAVDTからVisDrone2018へのクロスデータセット転送において、NDFT-DE-FPN(r)は車両クラスで79.50 APを達成し、非分離転送ベースライン（75.27 AP）比で4.23 APの向上を示した。
• 図1の可視化比較では、不快要因を1つずつ追加して分離することで、ベースラインから完全なA+V+W分離まで一貫した検出精度の向上が観察された。
• 表6のアブレーションスタディでは、グリッドサーチで最適化された補助損失（AL）でさえも、敵対的分離（NDFT）に劣ることが確認された。