[논문 리뷰] The QXS-SAROPT Dataset for Deep Learning in SAR-Optical Data Fusion

Meiyu Huang, Yao Xu외 7명|arXiv (Cornell University)|2021. 03. 15.

Advanced SAR Imaging Techniques참고 문헌 31인용 수 43

한 줄 요약

QXS-SAROPT 데이터셋은 GaoFen-3와 Google Earth로부터 얻은 20,000개의 고해상도 SAR-광학 패치 쌍(1 m)을 소개하고, SAR-광학 매칭 및 선박 탐지 애플리케이션을 심층 학습을 이용해 시연한다.

ABSTRACT

Deep learning techniques have made an increasing impact on the field of remote sensing. However, deep neural networks based fusion of multimodal data from different remote sensors with heterogenous characteristics has not been fully explored, due to the lack of availability of big amounts of perfectly aligned multi-sensor image data with diverse scenes of high resolutions, especially for synthetic aperture radar (SAR) data and optical imagery. To promote the development of deep learning based SAR-optical fusion approaches, we release the QXS-SAROPT dataset, which contains 20,000 pairs of SAR-optical image patches. We obtain the SAR patches from SAR satellite GaoFen-3 images and the optical patches from Google Earth images. These images cover three port cities: San Diego, Shanghai and Qingdao. Here, we present a detailed introduction of the construction of the dataset, and show its two representative exemplary applications, namely SAR-optical image matching and SAR ship detection boosted by cross-modal information from optical images. As a large open SAR-optical dataset with multiple scenes of a high resolution, we believe QXS-SAROPT will be of potential value for further research in SAR-optical data fusion technology based on deep learning.

연구 동기 및 목표

• 다양한 장면을 갖춘 크고 해상도가 높은 SAR-광학 패치 데이터셋을 제공하여 다중 모달 데이터 융합을 위한 심층 학습을 진전시키는 것.
• 교차 모달 정보를 사용한 SAR-광학 이미지 매칭 및 SAR 선박 탐지를 위한 재현 가능한 평가를 가능하게 하는 것.
• 데이터셋의 유용성과 향후 연구 방향을 보여주기 위한 기본 애플리케이션을 시연하는 것.
• 향후 데이터셋 개선 및 확장을 위한 강점과 한계에 대해 논의하는 것.

제안 방법

• 1 m 해상도로 Gaofen-3 SAR 이미지와 Google Earth 광학 이미지를 선택하여 20,000 패치 쌍의 데이터셋 구성.
• modality 차이에도 불구하고 정확한 정합을 가능하게 하기 위해 소-영역 쌍에서 대응점을 수동으로 위치시킴.
• 수동 대응점 일치를 이용한 bilinear 보간으로 소-영역 SAR-광학 쌍을 정합.
• 등록된 쌍을 256x256 패치로 잘라 20% 중첩(스트라이드 52)으로 학습 샘플을 최대화.
• 저-텍스처 또는 결함이 있는 패치를 제거하기 위한 수동 검사로 20,000개의 고품질 패치를 얻음.
• 두 가지 예시 작업 시연: (i) Bridge Neural Network (BNN)을 이용한 SAR-광학 이미지 매칭으로 모달리티를 공통 특성 공간으로 투영; (ii) 교차 모달 사전 학습으로 특징 임베딩을 강화하는 SAR 선박 탐지.

실험 결과

연구 질문

• RQ1 How can a large, high-resolution, co-registered SAR-optical patch dataset be constructed from Gaofen-3 and Google Earth imagery?
• RQ2 Can deep learning-based SAR-optical matching benefit from cross-modal embedding approaches like Bridge Neural Networks?
• RQ3 Can cross-modal pretraining from optical data improve SAR-based ship detection performance?
• RQ4 What are the strengths and limitations of the QXS-SAROPT dataset for SAR-optical data fusion tasks?

주요 결과

• BNN-based patch matching trained on QXS-SAROPT achieves 82.9% accuracy with ResNet50 and 82.8% with Darknet53 on a test subset.
• OSM pretraining (SAR ship detector) improves Average Precision on AIR-SARShip-1.0 relative to ImageNet-pretrained baselines in Faster R-CNN and YOLOv3 setups (exact numbers reported in the paper).
• The dataset enables two representative applications: SAR-optical image matching and SAR ship detection boosted by cross-modal information.
• QXS-SAROPT is the first high-resolution (1 m) co-registered SAR-optical patch dataset covering three major port cities with diverse land-cover types.
• The dataset is open access under CC BY and currently covers San Diego, Shanghai, and Qingdao, facilitating research in multimodal fusion and object detection.