[論文レビュー] The QXS-SAROPT Dataset for Deep Learning in SAR-Optical Data Fusion

Meiyu Huang, Yao Xu+7 more|arXiv (Cornell University)|Mar 15, 2021

Advanced SAR Imaging Techniques参考文献 31被引用数 43

ひとこと要約

QXS-SAROPTデータセットは GaoFen-3 と Google Earth からの1 m 解像度の高精細 SAR–光学パッチ20,000組を紹介し、深層学習を用いた SAR–光学マッチングおよび船舶検出の応用を示します。

ABSTRACT

Deep learning techniques have made an increasing impact on the field of remote sensing. However, deep neural networks based fusion of multimodal data from different remote sensors with heterogenous characteristics has not been fully explored, due to the lack of availability of big amounts of perfectly aligned multi-sensor image data with diverse scenes of high resolutions, especially for synthetic aperture radar (SAR) data and optical imagery. To promote the development of deep learning based SAR-optical fusion approaches, we release the QXS-SAROPT dataset, which contains 20,000 pairs of SAR-optical image patches. We obtain the SAR patches from SAR satellite GaoFen-3 images and the optical patches from Google Earth images. These images cover three port cities: San Diego, Shanghai and Qingdao. Here, we present a detailed introduction of the construction of the dataset, and show its two representative exemplary applications, namely SAR-optical image matching and SAR ship detection boosted by cross-modal information from optical images. As a large open SAR-optical dataset with multiple scenes of a high resolution, we believe QXS-SAROPT will be of potential value for further research in SAR-optical data fusion technology based on deep learning.

研究の動機と目的

• 多様なシーンを含む大規模で高解像度の SAR–光学パッチデータセットを提供し、マルチモーダルデータフュージョンの深層学習を推進する。
• SAR–光学画像マッチングの再現性の高い評価と、クロスモーダル情報を用いたSAR船舶検出を可能にする。
• データセットの有用性と潜在的な研究方向性を示すためのベースライン応用を実証する。
• 将来のデータセットの改善と拡張を導くための長所と限界を議論する。

提案手法

• GaoFen-3 SAR画像とGoogle Earth optical 画像を1 m 解像度で選択し、20,000 パッチ対データセットを構築する。
• モダリティの違いにもかかわらず、正確な登録を可能にするためにサブ領域ペア内の対応点を手動で特定する。
• 手動対応点対応後にbilinear補間を用いてサブ領域SAR–光学ペアを登録する。
• 登録済みペアを256×256パッチにクロップし、トレーニングサンプルを最大化するために20%のオーバーラップ（ストライド52）を持たせる。
• 低テクスチャまたは不良パッチを除外するための手動検査を行い、20,000の高品質ペアを得る。
• 2つの実例タスクを示す： (i) Bridge Neural Network (BNN)を用いてモダリティを共通特徴空間へ射影するSAR–光学画像マッチング、(ii) クロスモーダル事前学習で特徴埋め込みを強化するSAR船舶検出。

実験結果

リサーチクエスチョン

• RQ1 GaoFen-3とGoogle Earthの画像から、共登載の高解像度SAR–光学パッチデータセットをどのように構築できるか？
• RQ2 深層学習ベースのSAR–光学マッチングはBridge Neural Networksのようなクロスモーダル埋め込みアプローチから利益を得られるか？
• RQ3 光学データからのクロスモーダル事前学習はSARベースの船舶検出性能を改善できるか？
• RQ4 QXS-SAROPTデータセットのSAR–光学データフュージョンタスクにおける強みと限界は何か？

主な発見

Experiment / Backbone	Metric	Value
BNN patch matching	ResNet50 (70% train / 30% test) - Accuracy	0.829
BNN patch matching	Darknet53 (70% train / 30% test) - Accuracy	0.828

• BNNベースのパッチマッチングはQXS-SAROPTで訓練されると、ResNet50で82.9%、Darknet53で82.8%の精度をテストサブセットで達成する。
• OSM pretraining（SAR船舶検出器）は、Faster R-CNNおよびYOLOv3の設定におけるImageNet pretrainedベースラインに対してAIR-SARShip-1.0上のAverage Precisionを改善する（論文における正確な数値を報告）。
• データセットは2つの代表的なアプリケーションを可能にする：SAR–光学画像マッチングと、クロスモーダル情報によって強化されたSAR船舶検出。
• QXS-SAROPTは1 mの高解像度で、三大港湾都市をカバーし多様な land-cover タイプを含む初の共登録SAR–光学パッチデータセットである。
• 本データセットはCC BYの下でオープンアクセスであり、現状はSan Diego、Shanghai、Qingdaoをカバーしており、マルチモーダルフュージョンと物体検出の研究を促進する。