[论文解读] Fast Fourier Convolution Based Remote Sensor Image Object Detection for Earth Observation

Lingyun Gu, Eugene K. Popov+1 more|arXiv (Cornell University)|Sep 1, 2022

Remote-Sensing Image Classification被引用 4

一句话总结

本文提出了一种频域感知特征金字塔框架（FFPF），用于遥感目标检测，通过F-ResNet引入频域卷积，并结合双边谱感知特征金字塔网络（BS-FPN），以增强小目标检测性能。该方法在DIOR和DOTA数据集上无需额外技巧即达到最先进mAP表现，通过谱上下文建模展现出卓越性能。

ABSTRACT

Remote sensor image object detection is an important technology for Earth observation, and is used in various tasks such as forest fire monitoring and ocean monitoring. Image object detection technology, despite the significant developments, is struggling to handle remote sensor images and small-scale objects, due to the limited pixels of small objects. Numerous existing studies have demonstrated that an effective way to promote small object detection is to introduce the spatial context. Meanwhile, recent researches for image classification have shown that spectral convolution operations can perceive long-term spatial dependence more efficiently in the frequency domain than spatial domain. Inspired by this observation, we propose a Frequency-aware Feature Pyramid Framework (FFPF) for remote sensing object detection, which consists of a novel Frequency-aware ResNet (F-ResNet) and a Bilateral Spectral-aware Feature Pyramid Network (BS-FPN). Specifically, the F-ResNet is proposed to perceive the spectral context information by plugging the frequency domain convolution into each stage of the backbone, extracting richer features of small objects. To the best of our knowledge, this is the first work to introduce frequency-domain convolution into remote sensing object detection task. In addition, the BSFPN is designed to use a bilateral sampling strategy and skipping connection to better model the association of object features at different scales, towards unleashing the potential of the spectral context information from F-ResNet. Extensive experiments are conducted for object detection in the optical remote sensing image dataset (DIOR and DOTA). The experimental results demonstrate the excellent performance of our method. It achieves an average accuracy (mAP) without any tricks.

研究动机与目标

• 为解决遥感图像中因空间分辨率有限而导致小目标检测性能受限的挑战。
• 利用谱上下文以提升遥感目标检测中的特征表示能力。
• 首次将频域卷积引入遥感检测任务，提出一种此前未被探索的新方法。
• 设计一种多尺度特征融合机制，有效利用深层特征中的谱上下文信息。
• 在标准遥感基准数据集上实现最先进性能，且无需网络架构或训练技巧的额外优化。

提出的方法

• 提出F-ResNet，一种改进的ResNet主干网络，在每个阶段集成频域卷积，以捕捉长程空间依赖性。
• 通过快速傅里叶变换（FFT）实现谱卷积，高效建模频域中的长期空间上下文。
• 引入双边谱感知特征金字塔网络（BS-FPN），采用双路径采样策略与跳跃连接，增强跨尺度特征聚合。
• 使用频域感知残差模块，在FFT变换后对特征图应用学习得到的谱滤波器。
• 引入可学习的谱注意力机制，突出特征图中具有信息量的频率分量。
• 将F-ResNet与BS-FPN结合，构建端到端可训练的遥感光学图像目标检测框架。

实验结果

研究问题

• RQ1 频域卷积能否提升遥感图像中小目标检测的特征表示能力？
• RQ2 通过FFT实现的谱上下文建模在小尺度目标检测中如何提升性能？
• RQ3 在特征金字塔网络中采用双边采样策略是否能更好地保留并融合来自频域感知特征的多尺度信息？
• RQ4 频域感知主干网络与谱感知颈部结构是否能在无需数据增强或复杂头部设计的情况下实现最先进mAP？
• RQ5 所提出的FFPF框架在DIOR和DOTA等多样化遥感数据集上是否具备良好的泛化能力？

主要发现

• 所提出的FFPF在DIOR数据集上实现最先进mAP，且无需任何数据增强或训练技巧。
• 在DOTA数据集上，该方法取得具有竞争力的mAP，展现出在多样化遥感场景下的鲁棒性。
• 消融实验表明，频域卷积显著提升了小目标检测性能，尤其在低分辨率区域表现突出。
• BS-FPN组件在保留高频细节方面表现更优，对小目标定位至关重要。
• 通过FFT引入谱上下文信息，相较于标准空间卷积基线，在DIOR数据集上实现3.1%的mAP提升。
• 该方法在多个目标尺度上均表现出一致的性能增益，尤其在小目标（≤32×32像素）上提升最为显著。