[論文レビュー] RarePlanes: Synthetic Data Takes Flight

Jacob Shermeyer, Thomas Hossler+4 more|arXiv (Cornell University)|Jun 4, 2020

Advanced Neural Network Applications参考文献 67被引用数 8

ひとこと要約

RarePlanesは、253枚の実際のMaxar WorldView-3衛星画像と50,000枚の合成衛星画像を組み合わせた大規模でオープンソースのデータセットを提供する。実験の結果、90%の合成データ＋10%の実データのブレンドにより、完全に実データで訓練されたモデルのmAP性能の91–96%を達成した。これは、合成データが上空コンピュータビジョン分野における実データへの依存度を低減する強力な可能性を示している。

ABSTRACT

RarePlanes is a unique open-source machine learning dataset that incorporates both real and synthetically generated satellite imagery. The RarePlanes dataset specifically focuses on the value of synthetic data to aid computer vision algorithms in their ability to automatically detect aircraft and their attributes in satellite imagery. Although other synthetic/real combination datasets exist, RarePlanes is the largest openly-available very-high resolution dataset built to test the value of synthetic data from an overhead perspective. Previous research has shown that synthetic data can reduce the amount of real training data needed and potentially improve performance for many tasks in the computer vision domain. The real portion of the dataset consists of 253 Maxar WorldView-3 satellite scenes spanning 112 locations and 2,142 km^2 with 14,700 hand-annotated aircraft. The accompanying synthetic dataset is generated via AI.Reverie's simulation platform and features 50,000 synthetic satellite images simulating a total area of 9331.2 km^2 with ~630,000 aircraft annotations. Both the real and synthetically generated aircraft feature 10 fine grain attributes including: aircraft length, wingspan, wing-shape, wing-position, wingspan class, propulsion, number of engines, number of vertical-stabilizers, presence of canards, and aircraft role. Finally, we conduct extensive experiments to evaluate the real and synthetic datasets and compare performances. By doing so, we show the value of synthetic data for the task of detecting and classifying aircraft from an overhead perspective.

研究の動機と目的

• 航空機検出のための、実画像と合成画像を組み合わせた大規模で、許可が明示された非常に高解像度の上空データセットの不足を解消すること。
• 航空機検出および詳細な属性分類の分野において、高価で手作業でアノテートされた実データに依存するのを減らすために、合成データの有効性を評価すること。
• 詳細なアノテーションを伴うペairedな実画像と合成画像を提供することで、上空コンピュータビジョンにおけるドメイン適応と転移学習のベンチマークを確立すること。
• 10個の詳細な航空機属性と33個のサブ属性を備えたデータセットを通じて、ゼロショット学習、インスタンスセグメンテーション、および詳細な分類に関する研究を可能にすること。
• 将来のリモートセンシング分野におけるドメイン適応および合成データ一般化技術の開発を支援する、再現可能でオープンなベンチマークを提供すること。

提案手法

• AI.Reverieのシミュレーションプラットフォームを用いて、実世界の空港メタデータと上空画像に基づき、Unreal Engineを活用してプロシージャルに現実的な3D環境を生成することで、50,000枚の合成衛星画像を生成した。
• センサの視線角度、日中の時間帯、天候状態、バイオーム、季節の変化、航空機の分布といったシミュレーションパラメータを制御し、多様性と現実性を確保した。
• 長さ、翼幅、翼形、翼位置、FAA翼幅クラス、推進方式、エンジン数、垂直尾翼数、カナードの有無、航空機の役割の10個の詳細な属性を、合成および実画像の両方の航空機にアノテートした。
• ImageNetで事前学習済みのResNet-50とFPNバックボーンを用い、Detectron2でFaster R-CNNおよびMask R-CNNモデルを訓練した。最適化には固定学習率0.001のSGDを用いた。
• 合成データの学習中に、ランダムクロッピング（512×512）、ぼかし処理、コントラスト・明るさの調整といったデータ拡張技術を適用した。
• COCOスタイルの平均精度（AP）、mAP、mAP50、および平均リcall（AR）を用いて性能を評価し、合成データのみ、実データのみ、および微調整された合成＋実データで訓練されたモデルを比較した。

実験結果

リサーチクエスチョン

• RQ1 合成衛星画像は、上空からの航空機検出において、実際のアノテート済み訓練データへの依存度を効果的に低減できるか？
• RQ2 合成データのみで訓練されたモデルの検出精度と誤検出率は、実データで訓練されたモデルと比べてどの程度か？
• RQ3 少量の実データを用いて事前学習済みの合成データで訓練されたモデルを微調整することで、性能がどの程度向上し、ドメインギャップがどの程度埋まるか？
• RQ4 合成データは、リモートセンシング分野における航空機検出および詳細な属性分類のための転移学習をどの程度効果的に可能にするか？
• RQ5 航空機検出タスクで近似的に最適な性能を得るために、合成データと実データの最適な比率は何か？

主な発見

• 合成データのみで訓練されたモデルは、実データで訓練されたモデルのmAP性能の55–75%にとどまり、顕著なドメインギャップがあることが示された。
• mAPが低いにもかかわらず、合成データで訓練されたモデルは平均リcall（AR）の70–80%を達成しており、多くの航空機は検出されているが、誤検出率が非常に高いことが示唆された。
• AP50は、局所化の正確性よりも正確な数え上げを重視するため、ドメインギャップに対して感受性が低く、APよりも低下が小さいことが判明した。これは、合成データが数え上げタスクに有効である可能性を示している。
• 合成データで事前学習したモデルを、実データの10%のみで微調整することで、mAPが完全に実データで訓練されたモデルの91–96%まで向上した。
• 少量の実データを追加することで、合成データのみの学習に比べ、ごみ、滑走路マーク、雪の塊といった誤検出が顕著に減少した。
• バックボーン層を固定するか、初期学習率を低くする処理は性能向上に寄与しなかった。これは、この設定では固定学習率を用いたエンドツーエンドの微調整が最適であることを示唆している。