[論文レビュー] Fast Fourier Convolution Based Remote Sensor Image Object Detection for Earth Observation

Lingyun Gu, Eugene K. Popov+1 more|arXiv (Cornell University)|Sep 1, 2022

Remote-Sensing Image Classification被引用数 4

ひとこと要約

本稿では、周波数ドメイン畳み込みをF-ResNetを用いて統合し、二重スペクトル認識特徴ファイターピラミッドネットワーク（BS-FPN）を組み合わせることで、小規模な物体検出を向上させる周波数に配慮した特徴ファイターピラミッドフレームワーク（FFPF）を提案する。DIORおよびDOTAで、装飾的な手法を用いずに最先端のmAPを達成しており、スペクトル的文脈モデリングにより優れた性能を示している。

ABSTRACT

Remote sensor image object detection is an important technology for Earth observation, and is used in various tasks such as forest fire monitoring and ocean monitoring. Image object detection technology, despite the significant developments, is struggling to handle remote sensor images and small-scale objects, due to the limited pixels of small objects. Numerous existing studies have demonstrated that an effective way to promote small object detection is to introduce the spatial context. Meanwhile, recent researches for image classification have shown that spectral convolution operations can perceive long-term spatial dependence more efficiently in the frequency domain than spatial domain. Inspired by this observation, we propose a Frequency-aware Feature Pyramid Framework (FFPF) for remote sensing object detection, which consists of a novel Frequency-aware ResNet (F-ResNet) and a Bilateral Spectral-aware Feature Pyramid Network (BS-FPN). Specifically, the F-ResNet is proposed to perceive the spectral context information by plugging the frequency domain convolution into each stage of the backbone, extracting richer features of small objects. To the best of our knowledge, this is the first work to introduce frequency-domain convolution into remote sensing object detection task. In addition, the BSFPN is designed to use a bilateral sampling strategy and skipping connection to better model the association of object features at different scales, towards unleashing the potential of the spectral context information from F-ResNet. Extensive experiments are conducted for object detection in the optical remote sensing image dataset (DIOR and DOTA). The experimental results demonstrate the excellent performance of our method. It achieves an average accuracy (mAP) without any tricks.

研究の動機と目的

• 空間分解能が限られているため、小規模な物体検出の性能が制限されるリモートセンシング画像における小規模物体検出の課題に対処すること。
• リモートセンシング物体検出における特徴表現の向上を図るために、スペクトル的文脈を活用すること。
• リモートセンシング検出に周波数ドメイン畳み込みを導入すること。これは、これまでに未だ探求されていなかった新しい手法である。
• 深層特徴からのスペクトル的文脈を効果的に活用するマルチスケール特徴統合メカニズムを設計すること。
• データオーグメンテーションや複雑なヘッド設計を用いずに、標準的なリモートセンシングベンチマークで最先端の性能を達成すること。

提案手法

• 各ステージに周波数ドメイン畳み込みを統合した変更版ResNetバックボーン、F-ResNetを提案し、長距離空間的依存関係を捉える。
• 高速フーリエ変換（FFT）を用いたスペクトル畳み込みにより、周波数ドメインで長期的な空間的文脈を効率的にモデル化する。
• 二重パスサンプリング戦略とスキップ接続を備えた、二重スペクトル認識特徴ファイターピラミッドネットワーク（BS-FPN）を導入し、スケール間の特徴統合を強化する。
• FFT変換後に特徴マップに学習されたスペクトルフィルタを適用する周波数に配慮した残差ブロックを適用する。
• 特徴マップ内の情報量の多い周波数成分を強調するために、学習可能なスペクトルアテンションメカニズムを適用する。
• F-ResNetとBS-FPNを統合し、光学的リモートセンシング画像における物体検出のためのエンドツーエンドで学習可能なフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 周波数ドメイン畳み込みは、リモートセンシング画像における小規模物体検出の特徴表現を改善できるか？
• RQ2 FFTを用いたスペクトル的文脈モデリングは、小スケール物体の検出性能をどのように向上させるか？
• RQ3 特徴ファイターピラミッドネットワークにおける二重サンプリング戦略は、周波数に配慮した特徴から得られるマルチスケール特徴をより効果的に保持・統合できるか？
• RQ4 周波数に配慮したバックボーンとスペクトルに配慮したネックは、データオーグメンテーションや複雑なヘッド設計を用いずに最先端のmAPを達成できるか？
• RQ5 提案されたFFPFフレームワークは、DIORやDOTAのような多様なリモートセンシングデータセットに一般化可能か？

主な発見

• 提案されたFFPFは、データオーグメンテーションやトレーニングテクニックを一切用いずに、DIORデータセットで最先端のmAPを達成した。
• DOTAデータセットでは、競争力あるmAPを達成しており、多様なリモートセンシングシーンにわたる頑健性を示した。
• アブレーションスタディの結果、周波数ドメイン畳み込みが、特に低解像度領域における小規模物体の検出を顕著に向上させることを確認した。
• BS-FPNコンponentsは、小規模物体の局所化に不可欠な高周波数ディテールを保持する点で、より優れた特徴統合に貢献した。
• FFTを用いたスペクトル的文脈の統合により、DIORでは標準的な空間畳み込みベースラインと比較して3.1%のmAP向上を達成した。
• 複数の物体スケールにわたり一貫した性能向上を示したが、特に小規模物体（≤32×32ピクセル）で顕著な改善が見られた。