[论文解读] AeroGen: Enhancing Remote Sensing Object Detection with Diffusion-Driven Data Generation

Datao Tang, Xiangyong Cao+7 more|arXiv (Cornell University)|Nov 23, 2024

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

AeroGen 提出了一种用于遥感目标检测（RSIOD）的布局可控扩散模型，能够生成兼具水平和旋转框条件的高质量合成图像。通过集成多样性条件生成器与双重过滤机制，该方法提升了数据的多样性与质量，在 DIOR、DIOR-R 和 HRSC 数据集上分别实现了 mAP 提升 3.7%、4.3% 和 2.43%，尤其在稀有目标类别上取得显著增益。

ABSTRACT

Remote sensing image object detection (RSIOD) aims to identify and locate specific objects within satellite or aerial imagery. However, there is a scarcity of labeled data in current RSIOD datasets, which significantly limits the performance of current detection algorithms. Although existing techniques, e.g., data augmentation and semi-supervised learning, can mitigate this scarcity issue to some extent, they are heavily dependent on high-quality labeled data and perform worse in rare object classes. To address this issue, this paper proposes a layout-controllable diffusion generative model (i.e. AeroGen) tailored for RSIOD. To our knowledge, AeroGen is the first model to simultaneously support horizontal and rotated bounding box condition generation, thus enabling the generation of high-quality synthetic images that meet specific layout and object category requirements. Additionally, we propose an end-to-end data augmentation framework that integrates a diversity-conditioned generator and a filtering mechanism to enhance both the diversity and quality of generated data. Experimental results demonstrate that the synthetic data produced by our method are of high quality and diversity. Furthermore, the synthetic RSIOD data can significantly improve the detection performance of existing RSIOD models, i.e., the mAP metrics on DIOR, DIOR-R, and HRSC datasets are improved by 3.7%, 4.3%, and 2.43%, respectively. The code is available at https://github.com/Sonettoo/AeroGen.

研究动机与目标

• 解决标注遥感图像数据稀缺的问题，该问题限制了目标检测模型的性能。
• 通过生成多样化、高质量的合成数据，克服传统数据增强与半监督学习在稀有目标检测中的局限性。
• 开发一种基于水平与旋转框布局条件的生成模型，实现遥感图像的条件化图像合成。
• 设计一个端到端的数据增强流水线，提升下游检测任务中合成训练数据的多样性与质量。
• 证明所提出方法生成的合成数据能显著提升检测性能，尤其在稀有目标类别上表现突出。

提出的方法

• 提出 AeroGen，一种基于水平与旋转框布局先验的扩散生成模型，通过双重框条件引导图像生成。
• 集成布局掩码注意力（LMA）与双重交叉注意力（DCA）模块，增强生成图像中的全局语义理解与目标定位能力。
• 设计多样性条件生成器，生成多样化布局条件，以提升合成数据的多样性。
• 实施双重过滤机制：其一用于过滤低质量的布局条件，其二用于基于语义与布局一致性过滤低质量的生成图像。
• 构建端到端数据增强流水线，无需后置粘贴操作即可直接合成 RSIOD 数据，提升训练效率与数据保真度。
• 使用 FID、CAS 与 YOLO 分数作为评估指标，用于在训练与消融研究中评估图像质量与生成保真度。

Figure 1 : AeroGen’s overall architecture. (a) The layout embedding module combines bounding box coordinates with vectorized semantic information using Fourier and MLP layers. This encodes layout information to facilitate control, with the prompt description processed by a CLIP text encoder for glob

实验结果

研究问题

• RQ1 扩散模型能否被有效适配以生成具有精确布局控制的高质量遥感图像，用于目标检测？
• RQ2 同时整合水平与旋转框条件是否能提升合成遥感数据的真实感与实用性？
• RQ3 与传统增强方法相比，所提出的端到端数据增强流水线在多大程度上提升了检测性能？
• RQ4 双重过滤机制在保持生成合成数据的语义与布局一致性方面有多有效？
• RQ5 AeroGen 生成的合成数据能否显著提升遥感数据集中稀有目标类别的检测性能？

主要发现

• 所提出的 AeroGen 模型在遥感图像的布局可控生成任务中达到当前最优性能，支持水平与旋转框双重条件。
• 在 DIOR 数据集上，使用 5 万张生成样本，合成数据使 mAP 提升 3.7%，mAP50 提升 4.3%。
• 在 DIOR-R 数据集上，mAP 提升 4.3%，mAP50 提升 4.8%，稀有类别如 GF（+17.8%）、DAM（+14.7%）与 APO（+12.6%）表现尤为突出。
• 在 HRSC 数据集上，使用 5 万张合成样本，mAP 提升 2.43%，表明在多样化数据集上具有稳定的性能增益。
• 消融实验表明，布局掩码注意力（LMA）与双重交叉注意力（DCA）均显著提升图像质量，FID 从 82.11 降至 38.57（两者均启用时）。
• 结合过滤与多样性条件的端到端流水线优于基线方法：AeroGen 单独使用在 DIOR-R 上达到 41.69 mAP，超过 Copy-Paste + Flip（38.75 mAP）与 Flip（37.39 mAP）

Figure 2 : Overview of the pipeline based on AeroGen. By fitting the conditional distribution using a diffusion model, we expand a diverse set of layout conditions and combine them with AeroGen to generate synthetic data. Additionally, we introduce two filters to eliminate low-quality synthetic cond