[論文レビュー] Can Synthetic Data Improve Object Detection Results for Remote Sensing Images?

Weixing Liu, Jun Liu+1 more|arXiv (Cornell University)|Jun 9, 2020

Advanced Neural Network Applications参考文献 19被引用数 6

ひとこと要約

本稿では、レンダリングパrameterをランダム化し、実際のラベルなし画像を用いてCycleGANで精錬することで、多様で現実的な合成航空機画像を生成するリモートセンシング物体検出のための合成データ拡張パイプラインを提案する。最小限の実データでのファインチューニングにより、NWPU VHR-10、UCAS-AOD、DIORデータセットにおける検出精度が顕著に向上し、合成データが高価な実際のアノテーションに依存するのを効果的に低減できることを示している。

ABSTRACT

Deep learning approaches require enough training samples to perform well, but it is a challenge to collect enough real training data and label them manually. In this letter, we propose the use of realistic synthetic data with a wide distribution to improve the performance of remote sensing image aircraft detection. Specifically, to increase the variability of synthetic data, we randomly set the parameters during rendering, such as the size of the instance and the class of background images. In order to make the synthetic images more realistic, we then refine the synthetic images at the pixel level using CycleGAN with real unlabeled images. We also fine-tune the model with a small amount of real data, to obtain a higher accuracy. Experiments on NWPU VHR-10, UCAS-AOD and DIOR datasets demonstrate that the proposed method can be applied for augmenting insufficient real data.

研究の動機と目的

• 深層学習の性能を制限する、航空機検出のためのラベル付きリモートセンシング画像の不足に対処する。
• 高価で時間がかかる実際のリモートセンシングデータの手動アノテーションへの依存を低減する。
• 現実世界のばらつきや外観をよく模倣する合成データを用いて、物体検出性能を向上させる。
• 標準的なリモートセンシングベンチマーク上で、合成データ拡張とファインチューニングの有効性を検証する。

提案手法

• オブジェクトサイズや背景クラスを含む、ランダム化されたパrameterを用いたレンダリングエンジンにより、合成航空機画像を生成する。
• ラベルなし実データを用いて、実際のリモートセンシング画像に似たように見せるために、CycleGANを用いてピクセル単位の精錬を施す。
• 合成データでの事前学習後に、実際のラベル付きデータの小さなサブセットで事前学習済みの物体検出器をファインチューニングし、実世界の分布に適応させる。
• 合成画像と実画像の間のドメインギャップを埋めるために、CycleGANによるドメイン適応を活用する。
• パイプラインは、NWPU VHR-10、UCAS-AOD、DIORの3つのベンチマークデータセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 ランダム化されたレンダリングパrameterを用いた合成データは、リモートセンシング物体検出器の一般化性能を向上させることができるか？
• RQ2 CycleGANを用いた画像変換は、合成リモートセンシング画像の現実性をどの程度向上させることができるか？
• RQ3 合成データで事前学習したモデルを、少量の実データでファインチューニングすることで、実データのみで学習する場合よりも高い検出性能が得られるか？
• RQ4 提案手法は、標準的なリモートセンシング検出ベンチマーク上で、実データのみを用いたベースライン手法と比較してどのように異なるか？

主な発見

• 提案手法は、実データのみで学習した場合と比較して、すべての3つのベンチマークデータセット（NWPU VHR-10、UCAS-AOD、DIOR）で顕著な性能向上を達成した。
• 合成データでの事前学習後に、実データの10％のみを用いてファインチューニングした場合、合成データなしで全量の実データで学習した場合よりも高いmAPを達成した。
• CycleGANによる画像精錬の活用により、合成画像と実画像の間のドメインギャップが軽減され、モデルの一般化性能が向上した。
• 合成段階でランダム化されたレンダリングパrameterは、スケールや背景の変化に対するモデルのロバスト性を高めるために、データの多様性を効果的に向上させた。