[論文レビュー] Synthetic Data and Hierarchical Object Detection in Overhead Imagery

Nathan Clement, Alan Schoen+2 more|arXiv (Cornell University)|Jan 29, 2021

Remote-Sensing Image Classification被引用数 4

ひとこと要約

本論文は、低ショットおよびゼロショットのリモートセンシング状況において性能を向上させるために合成データを用いた階層的オブジェクト検出フレームワークを提案する。GAN-Reskinnerを用いて現実的でない3Dレンダリング画像を再スキンし、実データを用いて広いクラスを検出する段階と、合成データを用いて狭いターゲットクラスを検出する段階に分けるブロード・トゥ・ネア―検出アーキテクチャを導入することで、上空衛星画像におけるゼロショット設定で最先端のリCALLを達成した。

ABSTRACT

The performance of neural network models is often limited by the availability of big data sets. To treat this problem, we survey and develop novel synthetic data generation and augmentation techniques for enhancing low/zero-sample learning in satellite imagery. In addition to extending synthetic data generation approaches, we propose a hierarchical detection approach to improve the utility of synthetic training samples. We consider existing techniques for producing synthetic imagery--3D models and neural style transfer--as well as introducing our own adversarially trained reskinning network, the GAN-Reskinner, to blend 3D models. Additionally, we test the value of synthetic data in a two-stage, hierarchical detection/classification model of our own construction. To test the effectiveness of synthetic imagery, we employ it in the training of detection models and our two stage model, and evaluate the resulting models on real satellite images. All modalities of synthetic data are tested extensively on practical, geospatial analysis problems. Our experiments show that synthetic data developed using our approach can often enhance detection performance, particularly when combined with some real training images. When the only source of data is synthetic, our GAN-Reskinner often boosts performance over conventionally rendered 3D models and in all cases the hierarchical model outperforms the baseline end-to-end detection architecture.

研究の動機と目的

• 上空衛星画像におけるオブジェクト検出のための実データが限られている状況、特に低ショットおよびゼロショット学習の枠組みにおいて、その課題に対処すること。
• 合成データと実データの間のドメインギャップを縮小するために、合成トレーニングサンプルの現実性を向上させること。
• 一般化性とデータ効率性を向上させるために、検出と分類を分離するモジュラーで二段階の検出アーキテクチャを構築すること。
• 3D CADレンダリング、GAN-Reskinner、ニューラルスタイル転送といった複数の合成データ生成技術が、実世界の地理空間検出タスクに与える効果を評価すること。
• 実データがターゲットクラスに不足する状況においても、合成データを用いた階層的検出がリCALLと精度を顕著に向上させることを示すこと。

提案手法

• 3Dレンダリングされた合成画像を入力とし、実際のテクスチャを再生成することでドメインシフトを低減する条件付きGANベースのリスキンニングネットワーク「GAN-Reskinner」を提案する。
• 実画像からのテクスチャ転送を学習することで、敵対的訓練を用いて多様で現実的な上空合成画像を生成する3D CADモデルの統合。
• 小規模な実データセットの拡張にニューラルスタイル転送を適用し、季節や照明条件の変化に対するモデルのロバスト性を向上させる。
• ブロード・トゥ・ネア―二段階検出アーキテクチャを設計：最初に、実データを用いて一般オブジェクトカテゴリを検出するブロード検出器が動作し、次に、ターゲットクラスの特定に合成データを用いて予測を精緻化するネア―分類器が動作する。
• ブロード検出器は関連クラス（例：すべての車両）の実データで訓練され、ネア―分類器はターゲットクラス（例：コンact型乗用車）の合成データのみで訓練される。
• ブロード検出器の出力をネア―分類器でフィルタリングする共同学習戦略を採用し、細分化分類のための合成データを用いたエンドツーエンド最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 3D CADレンダリングとGANベースのリスキンニングテクスチャを用いて生成された合成データは、実データのみを用いた場合と比較して、上空衛星画像におけるオブジェクト検出性能を向上させるか？
• RQ2 GAN-Reskinner技術は、オブジェクト検出タスクにおいて、合成と実の衛星画像の間のドメインギャップをどの程度低減するか？
• RQ3 ブロード・トゥ・ネア―階層的検出アーキテクチャは、エンドツーエンドモデルと比較して、ゼロショットおよび低ショット検出性能をどの程度向上させるか？
• RQ4 ニューラルスタイル転送は、小規模な実データセットの拡張にどの程度効果的か？特に、季節や照明条件の変化に対するモデルの一般化能力を向上させるか？
• RQ5 3Dレンダリング、GAN-Reskinner、スタイル転送といった複数の合成データ生成技術を組み合わせることで、単一の手法よりも優れた検出性能が得られるか？

主な発見

• GAN-Reskinnerは、従来の3Dモデルと比較して一貫して検出性能を向上させ、特にドメインシフトの低減と特徴の識別能の向上に寄与した。
• ゼロショット検出では、ブロード・トゥ・ネア―モデルが、広いクラスに実データ、狭いクラスに合成データを用いて訓練した場合、航空機および乗用車で100%のリCALLを達成し、エンドツーエンドモデルを上回った。
• 低ショット設定では、ネア―クラスに合成データのみを用いて訓練したブロード・トゥ・ネア―アーキテクチャが、航空機で97.6%、乗用車で97.0%のリCALLを達成し、エンドツーエンドベースラインを顕著に上回った。
• 合成データのみを用いた場合、GAN-Reskinnerベースのモデルは航空機で100%、乗用車で96.3%のリCALLを達成し、ゼロショット環境下での有効性を示した。
• 階層的モデルは、ブロード検出結果をネア―分類器でフィルタリングすることで誤検出を低減した。最良の構成（R+C+G+N）では、航空機で99.4%、乗用車で95.1%のリCALLを達成し、誤検出は最小限に抑えられた。
• ニューラルスタイル転送は、画像条件の変化に対するモデルのロバスト性を向上させ、他の合成データ技術と組み合わせることで、異なる季節や照明条件にわたる一般化能力が向上した。