[論文レビュー] SFFNet: A Wavelet-Based Spatial and Frequency Domain Fusion Network for Remote Sensing Segmentation

Yunsong Yang, Genji Yuan+1 more|arXiv (Cornell University)|May 3, 2024

Remote-Sensing Image Classification被引用数 4

ひとこと要約

SFFNet は、空間領域と周波数領域の特徴を統合することで、ウェーブレットに基づく二段階の特徴融合ネットワークであり、リモートセンシング画像のセグメンテーションを向上させる。ウェーブレット変換特徴分解器（WTFD）を用いてハールウェーブレットに基づく周波数分解を実行し、空間的および周波数的特徴を整合・統合するためのマルチスケール二重表現アライメントフィルタ（MDAF）を導入することで、ポツダムデータセットで87.73%のmIoUを達成し、最先端の性能を発揮した。

ABSTRACT

In order to fully utilize spatial information for segmentation and address the challenge of handling areas with significant grayscale variations in remote sensing segmentation, we propose the SFFNet (Spatial and Frequency Domain Fusion Network) framework. This framework employs a two-stage network design: the first stage extracts features using spatial methods to obtain features with sufficient spatial details and semantic information; the second stage maps these features in both spatial and frequency domains. In the frequency domain mapping, we introduce the Wavelet Transform Feature Decomposer (WTFD) structure, which decomposes features into low-frequency and high-frequency components using the Haar wavelet transform and integrates them with spatial features. To bridge the semantic gap between frequency and spatial features, and facilitate significant feature selection to promote the combination of features from different representation domains, we design the Multiscale Dual-Representation Alignment Filter (MDAF). This structure utilizes multiscale convolutions and dual-cross attentions. Comprehensive experimental results demonstrate that, compared to existing methods, SFFNet achieves superior performance in terms of mIoU, reaching 84.80% and 87.73% respectively.The code is located at https://github.com/yysdck/SFFNet.

研究の動機と目的

• グレースケールの変動が著しい領域（影、エッジ、テクスチャ領域など）におけるリモートセンシング画像のセグメンテーションの課題に対処すること。
• 周波数領域の特徴を統合しつつ、空間的詳細と意味的情報を保持することで、より高い耐性を発揮すること。
• 効果的な特徴アライメントと選択を通じて、空間的および周波数的表現の間の意味的ギャップを埋めること。
• マルチスケールおよび二重アテンション機構を統合したスウィントランスフォーマーを用いて、リモートセンシングセグメンテーションにおけるグローバルモデリングを強化すること。
• ウェーブレットベースの周波数領域統合が、純粋な空間的または周波数的のみの手法を上回ることを示すこと。

提案手法

• ネットワークは二段階の設計を採用している：まず、グローバルモデリングを向上させるためにスウィントランスフォーマーを統合したバックボーンネットワークを用いて空間的特徴を抽出する。
• 第二段階では、空間的特徴がウェーブレット変換特徴分解器（WTFD）を介して空間的および周波数的領域にマッピングされ、ハールウェーブレット変換を用いて低周波数および高周波数成分に分解される。
• マルチスケール二重表現アライメントフィルタ（MDAF）は、異なる領域間の特徴をアライメントおよび統合するために導入され、拡張にマルチスケールの垂直畳み込みを用い、周波数的および空間的特徴間の意味的ギャップを埋めるために二重クロスアテンションを採用する。
• MDAF は、両領域からの関連特徴を強調することで選択的統合を可能にし、表現学習および特徴の識別能を向上させる。
• ネットワークは、交差エントロピー損失とDice損失を用いてエンドツーエンドで訓練され、リモートセンシングベンチマークにおけるセグメンテーション精度を最適化する。
• アーキテクチャはVaihingenおよびPotsdamデータセットで評価され、アブレーションスタディにより各モジュールの寄与度が検証された。

実験結果

リサーチクエスチョン

• RQ1 ウェーブレット変換を用いた周波数領域特徴の統合が、グレースケールの変動が著しいリモートセンシング画像のセグメンテーション精度を向上させることができるか？
• RQ2 空間的および周波数的特徴を効果的にアライメントすることで、意味的ギャップを低減し、統合表現学習を可能にする方法は何か？
• RQ3 提案されたMDAF機構は、従来のアテンションまたは統合モジュールを上回る性能を示すか？
• RQ4 スウィントランスフォーマーとウェーブレットベースの周波数分解を組み合わせることで、リモートセンシングセグメンテーションにおけるグローバルコンテキストモデリングがどの程度向上するか？
• RQ5 標準的なリモートセンシングベンチマークにおいて、mIoU、F1スコア、OAの観点からSFFNetは最先端手法を上回る性能を示すか？

主な発見

• SFFNet はVaihingenデータセットで84.80%のmIoUを達成し、既存手法を上回った。
• Potsdamデータセットでは、SFFNet は87.73%のmIoU、93.36%のF1スコア、91.88%のOAを達成し、ST-Unet よりもmIoUで2.27%、XNet よりも2.22%高い性能を示した。
• アブレーションスタディの結果、WTFDおよびMDAFの両モジュールが性能向上に顕著な寄与をしていることが確認され、MDAFはクロスドメイン特徴アライメントにおいて特に重要であることが示された。
• 可視化比較では、SFFNet が影、エッジ、高テクスチャ領域といった困難な領域を効果的にセグメンテーションできており、XNet のような周波数のみの手法で見られる空間的情報の損失を回避していることが確認された。
• SFFNet は、特にグレースケールの変動が著しい領域を含む、複雑なリモートセンシングシーンのセグメンテーションにおいて、優れた耐性と正確性を示した。
• ハールウェーブレット変換とディープラーニングの統合により、空間的詳細を損なうことなく一般化性能と特徴の識別能が向上した。