[論文レビュー] The SEN1-2 Dataset for Deep Learning in SAR-Optical Data Fusion

Michael Schmitt, Lloyd Haydn Hughes+1 more|arXiv (Cornell University)|Jul 4, 2018

Advanced Image Fusion Techniques参考文献 14被引用数 4

ひとこと要約

本論文は、Sentinel-1 と Sentinel-2 からのコアライメント済みSAR-光学画像パッチを282,384枚含む大規模なSEN1-2データセットを紹介する。このデータセットは、SAR-光学データ統合におけるディーブラーニング研究を可能にする。応用分野にはSAR画像のカラー化、画像マッチング、SARからの人工光学画像生成が含まれ、擬似シアンズCNNを用いたSAR-光学パッチマッチングでは93.98%の最先端の正確性を達成している。

ABSTRACT

While deep learning techniques have an increasing impact on many technical fields, gathering sufficient amounts of training data is a challenging problem in remote sensing. In particular, this holds for applications involving data from multiple sensors with heterogeneous characteristics. One example for that is the fusion of synthetic aperture radar (SAR) data and optical imagery. With this paper, we publish the SEN1-2 dataset to foster deep learning research in SAR-optical data fusion. SEN1-2 comprises 282,384 pairs of corresponding image patches, collected from across the globe and throughout all meteorological seasons. Besides a detailed description of the dataset, we show exemplary results for several possible applications, such as SAR image colorization, SAR-optical image matching, and creation of artificial optical images from SAR input data. Since SEN1-2 is the first large open dataset of this kind, we believe it will support further developments in the field of deep learning for remote sensing as well as multi-sensor data fusion.

研究の動機と目的

• リモートセンシングにおけるディーブラーニングのための、大規模かつコアライメント済みのSAR-光学画像ペアの不足を解消すること。
• グローバルに分布し、季節的に多様なデータセットを提供することで、SAR-光学データ統合のための堅牢なディーブラーニングモデルの開発を支援すること。
• SAR画像のカラー化、画像マッチング、合成光学画像生成における手法のベンチマークを可能にすること。
• 今後の拡張の基盤を提供するため、マルチスペクトルデータおよび土地被覆/土地利用ラベルを含むこと。
• 従来のデータセットの限界（小規模、パッチの重複率が高いため）を克服し、多様性があり、大規模でグローバルに代表的なデータセットを提供すること。

提案手法

• データセットは、Sentinel-1 GRD VV偏波SAR画像と、大気上部反射率のレベル1Cデータを用いて構築され、両方とも20m解像度に再サンプリングされた。
• 64×64の画像パッチは、地球上のすべての陸上地域および4つの季節にわたる一致するシーンから抽出され、時間的および空間的多様性を確保した。
• SRTMまたはASTER DEMと正確な軌道データを用いて正確な地理的位置を特定し、SARと光学パッチ間のピクセル未満のアライメントを実現した。
• スペックルフィルタを適用せず、SARの生の特性を保持した。これにより、ユーザーが独自の前処理を実施できるようにした。
• データセットは、シーンと季節に基づいて決定論的な訓練・検証・テストサブセットに分割され、偏りのない評価を可能にした。
• パイロットモデルとして、マッチング用の擬似シアンズCNNと、画像間変換用のpix2pix GANを訓練・評価し、データセットの実用性を示した。

実験結果

リサーチクエスチョン

• RQ1 コアライメント済みのSAR-光学画像パッチを大規模かつグローバルに分布させたデータセットは、リモートセンシングにおけるより堅牢で汎用性の高いディーブラーニングモデルの開発を可能にするか？
• RQ2 SEN1-2データセットは、SAR-光学画像マッチングのためのモデル訓練にどの程度効果的であり、どのような性能が達成可能か？
• RQ3 SEN1-2で訓練された生成モデルは、SAR入力からどれほど現実的で信頼性のある光学画像を合成できるか？
• RQ4 データセットに含まれるグローバルな場所と季節的条件の多様性は、さまざまな環境条件下でのモデル汎用性にどのように影響するか？
• RQ5 最終的なディーブラーニングタスクにおいて、大気下部補正済みデータではなく大気上部反射率データを使用する際の限界は何か？

主な発見

• SEN1-2データセットには、多様なグローバルな場所と4つの季節から収集された282,384組のコアライメント済みSAR-光学画像パッチペアが含まれており、広範な空間的および時間的カバレッジを確保している。
• データセットのサブセット上で訓練された擬似シアンズ畳み込みニューラルネットワークは、マッチングSAR-光学パッチペアを同定する際、93.98%の正確性を達成し、偽陽性率は6.02%にとどまった。
• pix2pix GANモデルを用いた実例では、SAR入力から妥当な人工光学画像を生成する可能性が示され、複数のテストケースで視覚的に整合性のある結果が得られた。
• シーンと季節に基づく決定論的な分割により、データ漏洩のリスクを最小限に抑えたため、モデルの偏りのない評価が可能になった。
• 本データセットは、類似の規模のデータセット（例：SARptical）に比べ、10倍以上のパッチ数と低い重複率を有する、同種の最初の大規模オープンリソースである。
• 著者らは、完全なマルチスペクトルSentinel-2データと大気補正を含むバージョン2をリリースする計画であり、高度なリモートセンシング応用における利便性を向上させる。