[논문 리뷰] SFFNet: A Wavelet-Based Spatial and Frequency Domain Fusion Network for Remote Sensing Segmentation

Yunsong Yang, Genji Yuan외 1명|arXiv (Cornell University)|2024. 05. 03.

Remote-Sensing Image Classification인용 수 4

한 줄 요약

SFFNet은 공간 도메인과 주파수 도메인 특징을 통합하여 원격 감지 영상 분할 성능을 향상시키는 이중 단계 파형 변환 기반 융합 네트워크이다. Haar 파형 변환 기반 주파수 분해를 위한 파형 변환 특징 분해기(WTFD)와 공간 및 주파수 특징을 정렬하고 융합하기 위한 다중 척도 이중 표현 정렬 필터(MDAF)를 사용하여 Potsdam 데이터셋에서 87.73% mIoU를 기록하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In order to fully utilize spatial information for segmentation and address the challenge of handling areas with significant grayscale variations in remote sensing segmentation, we propose the SFFNet (Spatial and Frequency Domain Fusion Network) framework. This framework employs a two-stage network design: the first stage extracts features using spatial methods to obtain features with sufficient spatial details and semantic information; the second stage maps these features in both spatial and frequency domains. In the frequency domain mapping, we introduce the Wavelet Transform Feature Decomposer (WTFD) structure, which decomposes features into low-frequency and high-frequency components using the Haar wavelet transform and integrates them with spatial features. To bridge the semantic gap between frequency and spatial features, and facilitate significant feature selection to promote the combination of features from different representation domains, we design the Multiscale Dual-Representation Alignment Filter (MDAF). This structure utilizes multiscale convolutions and dual-cross attentions. Comprehensive experimental results demonstrate that, compared to existing methods, SFFNet achieves superior performance in terms of mIoU, reaching 84.80% and 87.73% respectively.The code is located at https://github.com/yysdck/SFFNet.

연구 동기 및 목표

• 그림자, 경계선, 무늬 영역 등 회색조 변화가 큰 지역에서 원격 감지 영상의 분할 과제를 해결하기 위해.
• 주파수 도메인 특징을 통합하면서도 공간적 세부 정보와 의미 정보를 유지하여 강건성을 향상시키기 위해.
• 효과적인 특징 정렬 및 선택을 통해 공간 도메인과 주파수 도메인 표현 간의 의미 갭을 해소하기 위해.
• 다중 척도 및 이중 주의 메커니즘을 통합한 Swin Transformer를 활용하여 원격 감지 분할의 전역 모델링을 향상시키기 위해.
• 순수한 공간 또는 주파수 도메인 방법에 비해 웨이블릿 기반 주파수 도메인 융합의 우수성을 입증하기 위해.

제안 방법

• 네트워크는 이중 단계 설계를 채택한다: 먼저, 전역 모델링을 위해 Swin Transformer를 통합한 백본 네트워크를 사용하여 공간 특징을 추출한다.
• 두 번째 단계에서 공간 특징은 파형 변환 특징 분해기(WTFD)를 통해 공간 도메인과 주파수 도메인으로 매핑되며, 이는 Haar 파형 변환을 적용하여 저주파 및 고주파 성분으로 특징을 분해한다.
• 다중 척도 이중 표현 정렬 필터(MDAF)는 도메인 간 특징 정렬 및 융합을 위해 도입되며, 확장에 다중 척도 수직 컨볼루션과 이중 크로스 주의를 사용하여 주파수 특징과 공간 특징 간 의미 갭을 메운다.
• MDAF는 양 도메인에서 관련 특징을 강조함으로써 선택적 융합을 가능하게 하여 표현 학습 및 특징 구분 능력을 향상시킨다.
• 엔드 투 엔드로 교차 엔트로피 손실과 DICE 손실을 함께 최적화하여 원격 감지 벤치마크에서 분할 정확도를 향상시킨다.
• 아키텍처는 Vaihingen 및 Potsdam 데이터셋에서 평가되었으며, 아블레이션 연구를 통해 구성 요소의 기여도를 검증하였다.

실험 결과

연구 질문

• RQ1 웨이블릿 변환을 통한 주파수 도메인 특징 융합이 큰 회색조 변화가 있는 원격 감지 영상에서 분할 정확도 향상에 기여하는가?
• RQ2 공간 도메인과 주파수 도메인 특징을 효과적으로 정렬하여 의미 갭을 줄이고 공동 표현 학습을 가능하게 할 수 있는가?
• RQ3 제안된 MDAF 메커니즘이 다중 척도 공간 및 주파수 특징 융합에서 전통적 주의 또는 융합 모듈보다 우수한 성능을 보이는가?
• RQ4 Swin Transformer와 웨이블릿 기반 주파수 분해를 융합함으로써 원격 감지 분할에서 전역적 맥락 모델링이 얼마나 향상되는가?
• RQ5 표준 원격 감지 벤치마크에서 mIoU, F1 스코어 및 OA 측면에서 SFFNet은 최신 기술 수준의 방법들보다 뛰어난가?

주요 결과

• SFFNet은 Vaihingen 데이터셋에서 84.80% mIoU를 기록하여 기존 방법들을 능가한다.
• Potsdam 데이터셋에서 SFFNet은 87.73% mIoU, 93.36% F1 스코어, 91.88% OA를 기록하였으며, ST-Unet에 비해 mIoU에서 2.27% 향상되었고, XNet에 비해 2.22% 향상되었다.
• 아블레이션 연구는 WTFD 및 MDAF 구성 요소가 성능 향상에 크게 기여하며, 특히 MDAF가 도메인 간 특징 정렬에 핵심적인 역할을 한다는 것을 확인한다.
• 시각적 비교 결과 SFFNet은 그림자, 경계선, 고무늬 영역과 같이 도전적인 영역을 효과적으로 분할하며, XNet처럼 순수 주파수 도메인 방법에서 관찰되는 공간 정보 손실을 방지한다.
• 특히 큰 회색조 변화가 있는 영역에서 SFFNet은 복잡한 원격 감지 영상 분할에 대해 뛰어난 강건성과 정확도를 보여준다.
• Haar 웨이블릿 변환과 딥러닝의 통합은 공간 세부 정보를 손상시키지 않으면서 일반화 능력과 특징 구분 능력을 향상시킨다.