[論文レビュー] SSL4EO-S12: A Large-Scale Multi-Modal, Multi-Temporal Dataset for Self-Supervised Learning in Earth Observation

Yi Wang, Nassim Ait Ali Braham+4 more|arXiv (Cornell University)|Nov 13, 2022

Advanced Image and Video Retrieval Techniques被引用数 25

ひとこと要約

著者らは自己教師あり学習の事前学習のためのグローバルで多モーダル・多時相のラベルなしEOデータセットSSL4EO-S12を公開し、複数のSSL手法と下流のRSタスクにおける有効性を示している。

ABSTRACT

Self-supervised pre-training bears potential to generate expressive representations without human annotation. Most pre-training in Earth observation (EO) are based on ImageNet or medium-size, labeled remote sensing (RS) datasets. We share an unlabeled RS dataset SSL4EO-S12 (Self-Supervised Learning for Earth Observation - Sentinel-1/2) to assemble a large-scale, global, multimodal, and multi-seasonal corpus of satellite imagery from the ESA Sentinel-1 \& -2 satellite missions. For EO applications we demonstrate SSL4EO-S12 to succeed in self-supervised pre-training for a set of methods: MoCo-v2, DINO, MAE, and data2vec. Resulting models yield downstream performance close to, or surpassing accuracy measures of supervised learning. In addition, pre-training on SSL4EO-S12 excels compared to existing datasets. We make openly available the dataset, related source code, and pre-trained models at https://github.com/zhu-xlab/SSL4EO-S12.

研究の動機と目的

• ImageNet系データや小規模なRSデータセットへの依存を克服するため、地球観測に対する自己教師あり事前学習を動機づける。
• 四季のスナップショットを含み、パッチが重複しないグローバルで多モーダル・季節性を持つEOコーパス（Sentinel-1/2）を構築する。
• 代表的なSSL手法を多様な下流RSタスクで評価し、転移性とベンチマーク性能を確立する。
• RS特有の拡張（マルチセンサー、マルチ時相、大気補正）を示し、SSL利得を高める。

提案手法

• 251,079のグローバル地点をサンプリングし、四季を通じてSentinel-1 SARとSentinel-2光学データ（L1C/L2A）を大きな重複なく収集してSSL4EO-S12を組み立てる。
• Sentinel-2 L1Cをデフォルト入力として、SSL4EO-S12データ上で4つのSSL手法（MoCo-v2/v3, DINO, MAE, data2vec）を事前学習する。
• MoCoとDINOには季節変動を活用するMulti-Temporal RandomSeasonContrastを使用する；MAEとdata2vecにはパッチごとにランダムな季節を割り当てる。
• EuroSAT、BigEarthNet、So2Sat-LCZ42（ scene classification ）への線形プロービングとファインチューニングを通じて下流タスクへの転移を評価する；DFC2020とOSCD（ segmentation / change detection ）。
• マルチモダリティ、季節情報、大気補正、および事前学習スケールに関するアブレーションを実施し、影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 グローバルで多モーダル・多時相のEOデータセットに対する大規模なSSL事前学習は、下流のRSタスクにどれくらい効果的か？
• RQ2 RS特有の拡張（マルチセンサー、マルチ時相、大気補正）はSSL転送性能を改善するか？
• RQ3 線形プロービングとファインチューニングにおいて、SSL4EO-S12は他のRS事前学習データセット（例:SEN12MS、SeCo、ImageNet）とどう比較されるか？
• RQ4 下流性能と飽和挙動に対する訓練データ規模の影響はどのようになるか？
• RQ5 マルチモーダル（S1+S2）事前学習と単一モダリティ事前学習の利点は何か？

主な発見

• SSL4EO-S12は複数のSSL手法（MoCo-v2, DINO, MAE, data2vec）に対して効果的な自己教師あり事前学習を可能にする。
• SSL4EO-S12での事前学習は、いくつかのタスクで従来のRS事前学習データセットより下流性能を向上させる。
• マルチセンサー、マルチ時相、そして大気補正を含むRS特有の拡張は転移性能の顕著な向上をもたらす。
• マルチモーダル事前学習（S1+S2）は、下流のBigEarthNetおよび関連データセットに対して単一モダリティより追加の改善をもたらす。
• ラベルが限られたファインチューニングはSSL4EO-S12の事前学習から substantialに恩恵を受け、時により多くのラベルを用いた完全教師ありモデルを上回る。
• 一定のサイズを超える事前学習データの増加に伴う性能向上の飽和傾向が観察され、モデル規模の影響を受ける。