[論文レビュー] AeroGen: Enhancing Remote Sensing Object Detection with Diffusion-Driven Data Generation

Datao Tang, Xiangyong Cao+7 more|arXiv (Cornell University)|Nov 23, 2024

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

AeroGenは、水平および回転されたバウンディングボックスの条件を用いて、高品質な合成画像を生成するレイアウト制御可能な拡散モデルを提案する。多様性に依存する生成器と二重フィルタリング機構を統合することで、データの多様性と品質が向上し、DIOR、DIOR-R、HRSCの各データセットでmAPがそれぞれ3.7%、4.3%、2.43%向上し、特にレアオブジェクトクラスで顕著な向上を示した。

ABSTRACT

Remote sensing image object detection (RSIOD) aims to identify and locate specific objects within satellite or aerial imagery. However, there is a scarcity of labeled data in current RSIOD datasets, which significantly limits the performance of current detection algorithms. Although existing techniques, e.g., data augmentation and semi-supervised learning, can mitigate this scarcity issue to some extent, they are heavily dependent on high-quality labeled data and perform worse in rare object classes. To address this issue, this paper proposes a layout-controllable diffusion generative model (i.e. AeroGen) tailored for RSIOD. To our knowledge, AeroGen is the first model to simultaneously support horizontal and rotated bounding box condition generation, thus enabling the generation of high-quality synthetic images that meet specific layout and object category requirements. Additionally, we propose an end-to-end data augmentation framework that integrates a diversity-conditioned generator and a filtering mechanism to enhance both the diversity and quality of generated data. Experimental results demonstrate that the synthetic data produced by our method are of high quality and diversity. Furthermore, the synthetic RSIOD data can significantly improve the detection performance of existing RSIOD models, i.e., the mAP metrics on DIOR, DIOR-R, and HRSC datasets are improved by 3.7%, 4.3%, and 2.43%, respectively. The code is available at https://github.com/Sonettoo/AeroGen.

研究の動機と目的

• オブジェクト検出モデルの性能を制限する、ラベル付きリモートセンシング画像データの不足に対処する。
• レアオブジェクト検出における従来のデータ拡張法や半教師あり学習の限界を乗り越え、多様で高品質な合成データを生成する。
• リモートセンシング画像の両方の水平および回転バウンディングボックスのレイアウトに基づいて、条件付き画像生成が可能な生成モデルを開発する。
• 下流の検出タスク用に、合成学習データの多様性と品質を向上させるエンドツーエンドのデータ拡張パイプラインを設計する。
• 提案手法による合成データが、特にレアオブジェクトカテゴリにおいて顕著な検出性能の向上を示すことを実証する。

提案手法

• 水平および回転バウンディングボックスを用いてレイアウトプライアを条件とする拡散生成モデルAeroGenを提案し、画像生成をガイドする。
• 生成画像におけるグローバルな意味的理解とオブジェクトの局所化を向上させるために、レイアウトマスクアテンション（LMA）とデュアルクロスアテンション（DCA）モジュールを統合する。
• 合成データの多様性を高めるために、多様なレイアウト条件を生成する多様性に依存する生成器を設計する。
• 二重フィルタリング機構を実装する：一つは低品質なレイアウト条件をフィルタリングし、もう一つは意味的およびレイアウトの一貫性に基づいて低品質な生成画像をフィルタリングする。
• ポストペースト処理を必要としないエンドツーエンドのデータ拡張パイプラインを構築し、トレーニング効率とデータの忠実度を向上させる。
• 訓練およびアブレーションスタディ中に画像品質と生成忠実度を評価するため、FID、CAS、YOLOスコアを評価指標として用いる。

Figure 1 : AeroGen’s overall architecture. (a) The layout embedding module combines bounding box coordinates with vectorized semantic information using Fourier and MLP layers. This encodes layout information to facilitate control, with the prompt description processed by a CLIP text encoder for glob

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、オブジェクト検出のための正確なレイアウト制御を備えた高品質なリモートセンシング画像を効果的に生成するために適応可能か？
• RQ2 水平および回転バウンディングボックスの両方の条件を統合することで、合成リモートセンシングデータの現実性と実用性が向上するか？
• RQ3 提案されたエンドツーエンドのデータ拡張パイプラインは、従来の拡張手法と比較して、検出性能をどの程度向上させるか？
• RQ4 二重フィルタリング機構は、生成された合成データにおける意味的およびレイアウトの一貫性を維持するためにどの程度効果的か？
• RQ5 AeroGenが生成する合成データは、リモートセンシングデータセットにおけるレアオブジェクトカテゴリの検出性能を顕著に向上させるか？

主な発見

• 提案されたAeroGenモデルは、リモートセンシング画像におけるレイアウト制御可能な生成において最先端の性能を達成し、水平および回転バウンディングボックスの両方の条件をサポートする。
• DIORデータセットでは、50,000枚の合成サンプルを用いた場合、mAPが3.7%向上し、mAP50が4.3%向上した。
• DIOR-Rデータセットでは、50,000枚の合成サンプルを用いた場合、mAPが4.3%向上し、mAP50が4.8%向上した。特にGF（+17.8%）、DAM（+14.7%）、APO（+12.6%）などのレアクラスで顕著な向上を示した。
• HRSCデータセットでは、50,000枚の合成サンプルを用いた場合、mAPが2.43%向上し、多様なデータセットにわたる一貫した性能向上を示した。
• アブレーションスタディの結果、レイアウトマスクアテンション（LMA）とデュアルクロスアテンション（DCA）の両方を用いることで、FIDが82.11から38.57に低下し、画像品質が顕著に向上した。
• フィルタリングと多様性の条件付き処理を備えたエンドツーエンドパイプラインは、ベースライン手法を上回った：DIOR-RではAeroGen単体でmAPが41.69を達成し、Copy-Paste + Flip（38.75 mAP）およびFlip（37.39 mAP）を上回った。

Figure 2 : Overview of the pipeline based on AeroGen. By fitting the conditional distribution using a diffusion model, we expand a diverse set of layout conditions and combine them with AeroGen to generate synthetic data. Additionally, we introduce two filters to eliminate low-quality synthetic cond