[논문 리뷰] AeroGen: Enhancing Remote Sensing Object Detection with Diffusion-Driven Data Generation

Datao Tang, Xiangyong Cao외 7명|arXiv (Cornell University)|2024. 11. 23.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

AeroGen은 수평 및 기울어진 바운딩 박스 조건을 갖춘 고품질 합성 이미지를 생성하는 레이아웃 제어 가능 디퓨전 모델을 제안한다. 다양성 조건화 생성기와 이중 필터링 메커니즘을 통합함으로써 데이터의 다양성과 품질을 향상시켜 각각 DIOR, DIOR-R, HRSC 데이터셋에서 mAP를 3.7%, 4.3%, 2.43% 향상시키며 희귀 객체 클래스에서 두드러진 성능 향상을 이룬다.

ABSTRACT

Remote sensing image object detection (RSIOD) aims to identify and locate specific objects within satellite or aerial imagery. However, there is a scarcity of labeled data in current RSIOD datasets, which significantly limits the performance of current detection algorithms. Although existing techniques, e.g., data augmentation and semi-supervised learning, can mitigate this scarcity issue to some extent, they are heavily dependent on high-quality labeled data and perform worse in rare object classes. To address this issue, this paper proposes a layout-controllable diffusion generative model (i.e. AeroGen) tailored for RSIOD. To our knowledge, AeroGen is the first model to simultaneously support horizontal and rotated bounding box condition generation, thus enabling the generation of high-quality synthetic images that meet specific layout and object category requirements. Additionally, we propose an end-to-end data augmentation framework that integrates a diversity-conditioned generator and a filtering mechanism to enhance both the diversity and quality of generated data. Experimental results demonstrate that the synthetic data produced by our method are of high quality and diversity. Furthermore, the synthetic RSIOD data can significantly improve the detection performance of existing RSIOD models, i.e., the mAP metrics on DIOR, DIOR-R, and HRSC datasets are improved by 3.7%, 4.3%, and 2.43%, respectively. The code is available at https://github.com/Sonettoo/AeroGen.

연구 동기 및 목표

• 객체 검출 모델의 성능을 제한하는 라벨이 부여된 원격 감지 영상 데이터의 부족 문제를 해결하기 위해.
• 희귀 객체 검출에서 전통적인 데이터 증강 및 준지도 학습의 한계를 극복하기 위해 다양한 고품질 합성 데이터를 생성하기 위해.
• 원격 감지 영상에 대해 수평 및 기울어진 바운딩 박스 레이아웃을 기반으로 조건부 이미지 합성을 수행할 수 있는 생성 모델을 개발하기 위해.
• 하류 검출 작업을 위한 합성 학습 데이터의 다양성과 품질을 동시에 향상시키는 종단간 데이터 증강 파이프라인을 설계하기 위해.
• 제안된 방법으로 생성된 합성 데이터가 희귀 객체 카테고리에서 특히 두드러진 성능 향상을 이끌어내는지 입증하기 위해.

제안 방법

• AeroGen을 제안하며, 수평 및 기울어진 바운딩 박스를 모두 활용해 레이아웃 사전 지식을 조건으로 하는 디퓨전 생성 모델을 사용하여 이미지 생성을 유도한다.
• 생성된 이미지의 글로벌 의미 이해 및 객체 정렬을 향상시키기 위해 레이아웃 마스크 주의(LMA) 및 이중 크로스 주의(DCA) 모듈을 통합한다.
• 다양성 조건화 생성기를 설계하여 다양한 레이아웃 조건을 생성함으로써 합성 데이터의 다양성을 증가시킨다.
• 이중 필터링 메커니즘을 구현한다: 하나는 저품질 레이아웃 조건을 필터링하고, 다른 하나는 의미적 일관성과 레이아웃 일관성 기반으로 저품질 생성 이미지를 필터링한다.
• 후처리 붙여넣기 작업 없이 직접 RSIOD 데이터를 합성하는 종단간 데이터 증강 파이프라인을 구축하여 학습 효율성과 데이터 정확도를 향상시킨다.
• 학습 및 분석 연구 동안 이미지 품질과 생성 정확도 평가를 위해 FID, CAS, YOLO 점수를 평가 지표로 사용한다.

Figure 1 : AeroGen’s overall architecture. (a) The layout embedding module combines bounding box coordinates with vectorized semantic information using Fourier and MLP layers. This encodes layout information to facilitate control, with the prompt description processed by a CLIP text encoder for glob

실험 결과

연구 질문

• RQ1 디퓨전 모델이 객체 검출을 위한 정밀한 레이아웃 제어가 가능한 고품질 원격 감지 이미지를 효과적으로 생성하는 데에 적합한가?
• RQ2 수평 및 기울어진 바운딩 박스 조건을 모두 통합함으로써 합성 원격 감지 데이터의 현실성과 활용도가 향상되는가?
• RQ3 기존의 증강 방법과 비교했을 때 제안된 종단간 데이터 증강 파이프라인이 검출 성능 향상에 어느 정도 기여하는가?
• RQ4 이중 필터링 메커니즘이 생성된 합성 데이터의 의미적 일관성과 레이아웃 일관성을 유지하는 데 얼마나 효과적인가?
• RQ5 AeroGen으로 생성된 합성 데이터가 원격 감지 데이터셋의 희귀 객체 카테고리에서 검출 성능 향상에 크게 기여하는가?

주요 결과

• 제안된 AeroGen 모델은 원격 감지 영상에 대해 수평 및 기울어진 바운딩 박스 조건을 모두 지원하는 레이아웃 제어 가능 생성 분야에서 최고 성능을 달성한다.
• DIOR 데이터셋에서 50,000개의 합성 샘플을 사용할 경우 mAP는 3.7% 향상되었고, mAP50는 4.3% 향상되었다.
• DIOR-R 데이터셋에서 50,000개의 합성 샘플을 사용할 경우 mAP는 4.3% 향상되었고, mAP50는 4.8% 향상되었으며, GF(+17.8%), DAM(+14.7%), APO(+12.6%)와 같은 희귀 클래스에서 두드러진 성능 향상을 보였다.
• HRSC 데이터셋에서 50,000개의 합성 샘플을 사용할 경우 mAP는 2.43% 향상되어 다양한 데이터셋에서 일관된 성능 향상을 입증했다.
• 추론 분석 결과, 레이아웃 마스크 주의(LMA)와 이중 크로스 주의(DCA) 모두 이미지 품질 향상에 크게 기여하며, 둘 다 사용할 경우 FID가 82.11에서 38.57로 감소함을 확인했다.
• 필터링 및 다양성 조건화를 통합한 종단간 파이프라인은 베이스라인 방법보다 우수한 성능을 보였다: AeroGen 단독으로 DIOR-R에서 41.69 mAP를 달성하여 Copy-Paste + Flip(38.75 mAP) 및 Flip(37.39 mAP)를 초월했다.

Figure 2 : Overview of the pipeline based on AeroGen. By fitting the conditional distribution using a diffusion model, we expand a diverse set of layout conditions and combine them with AeroGen to generate synthetic data. Additionally, we introduce two filters to eliminate low-quality synthetic cond