[논문 리뷰] Fast Fourier Convolution Based Remote Sensor Image Object Detection for Earth Observation

Lingyun Gu, Eugene K. Popov외 1명|arXiv (Cornell University)|2022. 09. 01.

Remote-Sensing Image Classification인용 수 4

한 줄 요약

이 논문은 원격 감지 객체 검출을 위한 주파수 인지 특징 피라미드 프레임워크(FFPF)를 제안하며, F-ResNet를 통한 주파수 도메인 컨볼루션과 이중 스펙트럼 인지 특징 피라미드 네트워크(_BS-FPN_)를 통합하여 소형 객체 검출을 향상시킨다. DIOR 및 DOTA에서 복잡한 트릭 없이도 최신 기준 mAP를 달성하며, 스펙트럼 컨텍스트 모델링을 통해 뛰어난 성능을 입증한다.

ABSTRACT

Remote sensor image object detection is an important technology for Earth observation, and is used in various tasks such as forest fire monitoring and ocean monitoring. Image object detection technology, despite the significant developments, is struggling to handle remote sensor images and small-scale objects, due to the limited pixels of small objects. Numerous existing studies have demonstrated that an effective way to promote small object detection is to introduce the spatial context. Meanwhile, recent researches for image classification have shown that spectral convolution operations can perceive long-term spatial dependence more efficiently in the frequency domain than spatial domain. Inspired by this observation, we propose a Frequency-aware Feature Pyramid Framework (FFPF) for remote sensing object detection, which consists of a novel Frequency-aware ResNet (F-ResNet) and a Bilateral Spectral-aware Feature Pyramid Network (BS-FPN). Specifically, the F-ResNet is proposed to perceive the spectral context information by plugging the frequency domain convolution into each stage of the backbone, extracting richer features of small objects. To the best of our knowledge, this is the first work to introduce frequency-domain convolution into remote sensing object detection task. In addition, the BSFPN is designed to use a bilateral sampling strategy and skipping connection to better model the association of object features at different scales, towards unleashing the potential of the spectral context information from F-ResNet. Extensive experiments are conducted for object detection in the optical remote sensing image dataset (DIOR and DOTA). The experimental results demonstrate the excellent performance of our method. It achieves an average accuracy (mAP) without any tricks.

연구 동기 및 목표

• 제한된 공간 해상도로 인해 성능에 악영향을 미치는 원격 감지 이미지에서 소형 객체를 탐지하는 과제를 해결하기 위해.
• 원격 감지 객체 검출에서 향상된 특징 표현을 위해 스펙트럼 컨텍스트를 활용하기 위해.
• 기존에 탐색되지 않은 새로운 접근 방식으로, 원격 감지 검출에 주파수 도메인 컨볼루션을 도입하기 위해.
• 깊이 있는 특징에서 온 스펙트럼 컨텍스트를 효과적으로 활용하는 다중 척도 특징 융합 메커니즘을 설계하기 위해.
• 데이터 증강 또는 복잡한 헤드 설계 없이도 표준 원격 감지 벤치마크에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 각 스테이지에서 주파수 도메인 컨볼루션을 통합한 수정된 ResNet 백본인 F-ResNet을 제안하여 장거리 공간적 의존성을 캡처한다.
• 빠른 푸리에 변환(FFT)을 통한 스펙트럼 컨볼루션을 활용하여 주파수 도메인에서 장기적 공간 컨텍스트를 효율적으로 모델링한다.
• 이중 경로 샘플링 전략과 스킵 연결을 갖춘 이중 스펙트럼 인지 특징 피라미드 네트워크(_BS-FPN_)를 도입하여 다중 척도 특징 융합을 향상시킨다.
• FFT 변환 후 특징 맵에 대해 학습된 스펙트럼 필터를 적용하는 주파수 인지 잔차 블록을 사용한다.
• 특징 맵의 정보성 있는 주파수 성분을 강조하기 위해 학습 가능한 스펙트럼 주의 메커니즘을 적용한다.
• F-ResNet과 BS-FPN을 통합하여 광학 원격 감지 이미지의 객체 검출을 위한 엔드 투 엔드 학습 가능한 프레임워크를 구성한다.

실험 결과

연구 질문

• RQ1 주파수 도메인 컨볼루션은 원격 감지 이미지에서 소형 객체 검출을 위한 특징 표현을 향상시킬 수 있는가?
• RQ2 FFT를 통한 스펙트럼 컨텍스트 모델링은 소형 객체 검출 성능을 어떻게 향상시키는가?
• RQ3 특징 피라미드 네트워크에서 이중 샘플링 전략은 주파수 인지 특징에서 유래한 다중 척도 특징을 더 잘 유지하고 융합하는가?
• RQ4 주파수 인지 백본과 스펙트럼 인지 넹은 데이터 증강이나 복잡한 헤드 설계 없이도 최신 기준 mAP를 달성할 수 있는가?
• RQ5 제안된 FFPF 프레임워크는 DIOR 및 DOTA와 같은 다양한 원격 감지 데이터셋에 일반화 가능한가?

주요 결과

• 제안된 FFPF는 데이터 증강이나 학습 트릭 없이도 DIOR 데이터셋에서 최신 기준 mAP를 달성한다.
• DOTA 데이터셋에서는 경쟁력 있는 mAP를 기록하여 다양한 원격 감지 환경에서의 강건성을 입증한다.
• 절단 분석 결과 주파수 도메인 컨볼루션은 특히 저해상도 영역에서 소형 객체 검출 성능을 크게 향상시킨다.
• BS-FPN 구성 요소는 고주파 성분을 유지하는 데 기여하여 소형 객체 정위치에 있어 중요한 고주파 세부 정보를 효과적으로 보존한다.
• FFT를 통한 스펙트럼 컨텍스트 통합은 DIOR에서 표준 공간 컨볼루션 기반 베이스라인 대비 3.1%의 mAP 향상을 이룬다.
• 다양한 객체 척도에서 일관된 성능 향상을 보이며, 특히 소형 객체(≤32×32 픽셀)에서 가장 두드러진 개선을 보였다.