[論文レビュー] USat: A Unified Self-Supervised Encoder for Multi-Sensor Satellite Imagery

Jeremy Irvin, Lucas Tao+5 more|arXiv (Cornell University)|Dec 2, 2023

Remote-Sensing Image Classification被引用数 4

ひとこと要約

USatは、グランドサンプリングディスタンス（GSD）が異なるスペクトルバンドをダウンスケーリングせずに処理できる、マルチセンサー衛星画像向けの統合的自己教師ありビジョン Transformerエンコーダーを導入する。センサ固有のパッチ化、重ね合わせ型位置エンコーディング、バンドごとの独立したパッチプロジェクションを用いることで、USatMAEはリモートセンシングベンチマークで最先端の性能を達成し、精度を最大8%向上させ、低データ環境でも顕著な向上を示す。

ABSTRACT

Large, self-supervised vision models have led to substantial advancements for automatically interpreting natural images. Recent works have begun tailoring these methods to remote sensing data which has rich structure with multi-sensor, multi-spectral, and temporal information providing massive amounts of self-labeled data that can be used for self-supervised pre-training. In this work, we develop a new encoder architecture called USat that can input multi-spectral data from multiple sensors for self-supervised pre-training. USat is a vision transformer with modified patch projection layers and positional encodings to model spectral bands with varying spatial scales from multiple sensors. We integrate USat into a Masked Autoencoder (MAE) self-supervised pre-training procedure and find that a pre-trained USat outperforms state-of-the-art self-supervised MAE models trained on remote sensing data on multiple remote sensing benchmark datasets (up to 8%) and leads to improvements in low data regimes (up to 7%). Code and pre-trained weights are available at https://github.com/stanfordmlgroup/USat .

研究の動機と目的

• リモートセンシングにおける単一センサーの自己教師あり事前学習の制限を解決し、モデルの汎化性を向上させるとともに、補完的なマルチセンサー画像を効果的に活用することを目的とする。
• 異なる空間分解能（GSD）を持つ複数のセンサーからのスペクトルバンドをダウンスケーリングせずに処理できる柔軟なエンコーダーを開発することを目的とする。
• マルチセンサー・マルチスペクトルデータからのより豊かな自己教師信号を活用することで、特に低データ環境におけるリモートセンシングタスクの下流性能を向上させることを目的とする。
• 任意のスペクトルバンドとセンサのサブセットを用いた微調整を可能にし、多様な下流応用へのモデルの適応性を高めることを目的とする。
• 従来のマルチセンサーモデルにおけるシーケンス長とメモリの非効率性を克服し、GSDに配慮したパッチ化と重ね合わせ型エンコーディングによりシーケンス長を短縮することを目的とする。

提案手法

• USatは、各スペクトルバンドのグランドサンプリングディスタンス（GSD）に応じて、センサ固有のパッチプロジェクション層を備えたビジョントランスフォーマーを採用し、高分解能バンドがより多くのパッチを生成するように適応的にパッチ分割を行う。
• 階層的な空間構造を持つマルチGSD入力をモデル化するため、重ね合わせ型位置エンコーディングを適用し、高分解能バンドが細粒度の空間情報を保持できるようにする。
• 異なるスペクトルバンドからのパッチ埋め込みは、スペクトルグループプーリング層を介して統合され、その後位置エンコーディングと合算されて、トランスフォーマーエンコーダー用の最終的なパッチトークンが形成される。
• モデルは、マルチセンサー画像（例：Sentinel-2 と NAIP）を用いてマスクされた自己符号化（MAE）目的関数で事前学習され、入力全体からマスクされたパッチを再構築する。
• 事前学習および微調整の両段階で、任意のスペクトルバンドとセンサのサブセットをサポートするため、柔軟な下流適応が可能である。
• 低GSD（高分解能）バンドのダウンスケーリングを回避することで、従来のアプローチが均一に入力をリサイズする際の情報損失を避ける。

Figure 1 : Overview of the USat encoder architecture. USat can accept any subset of spectral bands (channels) and spatial patches from multiple satellite (Sentinel-2) and aerial imagery (NAIP) sensors. Each spectral band is independently patchified, with lower GSD (higher spatial resolution) bands d

実験結果

リサーチクエスチョン

• RQ1 GSDが異なる複数のセンサー・マルチスペクトル衛星画像をダウンスケーリングせずに統合できる統合的自己教師ありエンコーダーは、実用的かつ効果的か？
• RQ2 Sentinel-2 と NAIP のような複数センサーを共同で事前学習することで、単一センサー事前学習に比べて下流性能が向上するか？
• RQ3 GSDに配慮したパッチ化と重ね合わせ型エンコーディングは、シーケンス長とメモリ使用量を削減しながらも、空間情報を保持できるか？
• RQ4 USatMAEは、教師ありおよび単一センサーMAEベースラインと比較して、低データ環境でどの程度の性能を示すか？
• RQ5 複数のセンサからの任意のスペクトルバンドサブセットを用いて、モデルを柔軟に微調整できる範囲はどの程度か？

主な発見

• USatMAEは、複数のリモートセンシングベンチマークで最先端の自己教師ありMAEモデルを上回り、平均して最大8%の精度向上を達成した。
• USatlasデータセットでは、教師ありベースラインに対して1.26 mAPの向上、標準MAEに対して0.41 mAPの向上を達成した。
• 低データ環境では、標準MAEと比較して最大7%の性能向上を示し、少数ショット一般化能力が顕著に優れていた。
• METER-MLでは、教師あり学習に対して2.97 MAPの向上、標準MAEに対して3.16 MAPの向上を達成した。
• Sentinel-2 と NAIP の両センサで共同事前学習した場合が、いずれか1つのセンサでの事前学習よりも優れた性能を示し、マルチセンサー自己教師信号の有効性を確認した。
• 高分解能バンドのダウンスケーリングを回避することで、USatMAEは空間的詳細を保持し、従来のマルチセンサーアプローチに内在する情報損失を回避した。

(a) EuroSAT