[論文レビュー] Leveraging Synthetic Data in Object Detection on Unmanned Aerial Vehicles

Benjamin Kiefer, David J. Ott+1 more|arXiv (Cornell University)|Dec 22, 2021

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、Grand Theft Auto V (GTAV) から得られる高解像度の合成データを、拡張された DeepGTAV フレームワークを用いて無人航空機（UAV）における物体検出の性能向上に活用する手法を提案する。さまざまなUAVシナリオにわたる大規模でメタデータが一致する合成データセットを生成し、合成事前学習を適用することで、実データのみを用いた学習と同等の性能を達成した。特に、グラフィックス品質とメタデータの整合性が、特定のカメラアングルや日時分布をターゲットにした場合に顕著な向上をもたらした。

ABSTRACT

Acquiring data to train deep learning-based object detectors on Unmanned Aerial Vehicles (UAVs) is expensive, time-consuming and may even be prohibited by law in specific environments. On the other hand, synthetic data is fast and cheap to access. In this work, we explore the potential use of synthetic data in object detection from UAVs across various application environments. For that, we extend the open-source framework DeepGTAV to work for UAV scenarios. We capture various large-scale high-resolution synthetic data sets in several domains to demonstrate their use in real-world object detection from UAVs by analyzing multiple training strategies across several models. Furthermore, we analyze several different data generation and sampling parameters to provide actionable engineering advice for further scientific research. The DeepGTAV framework is available at https://git.io/Jyf5j.

研究の動機と目的

• 法的制限、プライバシー懸念、複雑なデータ収集のため、実世界のUAV物体検出データセットの不足と高コストを解決すること。
• スケーラブルな代替手段としての合成データ生成を活用し、UAV物体検出におけるドメインシフトと性能ギャップを克服すること。
• ターゲットドメインに特化したデータ生成とメタデータ整合性を用いて、合成データの実世界UAVアプリケーションへの転送性を向上させること。
• 最適なモデル性能を達成するための合成データ生成パrameter（グラフィックス品質、メタデータ整合性、データサンプリング戦略など）に関する実用的で行動可能なインサイトを提供すること。
• ドメイン適応的データキュレーションと組み合わせた場合に、合成事前学習が実データのみの学習を上回るか同等の性能を達成できることを実証すること。

提案手法

• GTAVにおける航空機搭載カメラ設定（動的エージェントおよびカメラの位置・回転・環境操作を含む）をサポートするように、DeepGTAVフレームワークを拡張した。
• 交通監視（VisDrone）、海上捜索（SeaDronesSee）、家畜モニタリング（Cattle）という、異なるUAVアプリケーションドメインに特化した、大規模かつ高解像度（4K）の合成物体検出データセットを3つ生成した。
• 合成データの分布（例：日中の時間帯、カメラアングル）をサンプリングすることで、メタデータ抽出と整合性を自動化した。
• 生成されたデータセットを用い、YOLOv5およびEfficientDet-D0モデルを、合成データのみと合成データから実データへの転移学習戦略の両方で訓練した。
• グラフィックス品質（高/低）、データ量、ImageNetにおける事前学習、メタデータ整合性の影響をmAP@50で評価するためのアブレーションスタディを実施した。
• ブートストラップサンプリングと分布マッチングを用いて、実世界データの特性を再現する合成サブセットを作成し、データ効率性とモデル一般化性能を向上させた。

Figure 1: Real (left) and synthetic (right) image samples in different applications scenarios with ground truth annotations. Representative objects are magnified.

実験結果

リサーチクエスチョン

• RQ1 GTAVのようなビデオゲームエンジンからの合成データは、実際のUAV画像における物体検出性能を効果的に向上させることができるか？
• RQ2 シミュレーションエンジンのグラフィックス品質は、実世界のUAV検出タスクへの合成データの転送性にどのように影響するか？
• RQ3 日中の時間帯やカメラアングルなどの合成データの分布を実世界データの分布に合わせることで、モデル性能はどの程度向上するか？
• RQ4 合成事前学習は、実データのみの学習を上回るか同等の性能を達成できるか、そしてどのような条件下でそのような結果が得られるか？
• RQ5 大規模な自然画像データセットでの事前学習は、UAV検出における合成データと組み合わせた場合に果たす役割は何か？

主な発見

• 高品質なGTAVデータを用いた合成事前学習により、VisDroneで微調整した際のmAP@50は、実データのみのベースライン（43.9）から45.1に向上し、ドメイン転送の有効性が示された。
• 合成データのグラフィックス品質が高いほど、純粋な合成学習ではmAP@50が1.8%向上（高品質：10.2 vs. 低品質：8.4）したが、転移学習ではその効果が薄れた。
• 合成データを実世界の日中の時間帯分布に合わせたことで、SeaDronesSeeにおける合成データのみのmAP@50は10.5から14.6に4.1ポイント向上したが、転移学習ではほとんど利益が得られなかった。
• 合成データを実Cattleデータセット内での垂直下向きカメラアングル（20°以内）に制限したことで、合成データのみのmAP@50は29.2から36.6に向上し、ターゲット特化のデータキュレーションが効率性を高めることを示した。
• 合成データから実データへの転移学習では、Cattleで85.8 mAP@50、SeaDronesSeeで60.5 mAP@50を達成し、一部のケースで実データのみのベースラインを上回った。
• ImageNetでの事前学習は、すべての設定で性能向上をもたらしたが、合成データとの相互作用は観察されず、相補的な利点があることが示された。

Figure 2: The effect of the real and synthetic data set size on the model performance for VisDrone and SeaDronesSee. The color shading specifies the size of the synthetic data set that was used for pre-training.