[論文レビュー] SatMAE: Pre-training Transformers for Temporal and Multi-Spectral Satellite Imagery

Yezhen Cong, Samar Khanna+7 more|arXiv (Cornell University)|Jul 17, 2022

Remote-Sensing Image Classification被引用数 117

ひとこと要約

SatMAE は、時系列および多スペクトル衛星データ上で、時系列とスペクトルのエンコーディングを備えた Masked Autoencoders を用いてトランスフォーマーを事前学習し、下流のリモートセンシングタスクで性能を向上させる。

ABSTRACT

Unsupervised pre-training methods for large vision models have shown to enhance performance on downstream supervised tasks. Developing similar techniques for satellite imagery presents significant opportunities as unlabelled data is plentiful and the inherent temporal and multi-spectral structure provides avenues to further improve existing pre-training strategies. In this paper, we present SatMAE, a pre-training framework for temporal or multi-spectral satellite imagery based on Masked Autoencoder (MAE). To leverage temporal information, we include a temporal embedding along with independently masking image patches across time. In addition, we demonstrate that encoding multi-spectral data as groups of bands with distinct spectral positional encodings is beneficial. Our approach yields strong improvements over previous state-of-the-art techniques, both in terms of supervised learning performance on benchmark datasets (up to $\uparrow$ 7%), and transfer learning performance on downstream remote sensing tasks, including land cover classification (up to $\uparrow$ 14%) and semantic segmentation. Code and data are available on the project website: https://sustainlab-group.github.io/SatMAE/

研究の動機と目的

• 衛星画像のラベル付きデータが不足している場合の教師なし事前学習を動機づける。
• 時系列情報を時系列埋め込みと時系列全体のマスキングを介して活用するために SatMAE を提案する。
• スペクトル位置エンコーディングを用いてバンドをグルーピングすることで多スペクトル表現を提案する。
• ベンチマークデータセットと下流タスクで最先端手法を上回る改善を示す。

提案手法

• Masked Autoencoder (MAE) を拡張して時系列衛星画像シーケンスと多スペクトルデータを扱う。
• 年・月・時刻情報を空間パッチ埋め込みと融合させる時系列エンコーディングを導入する。
• 時間軸全体に渡るマスキング戦略（一貫性のあるものと独立系）を適用して時間的推論を促進する。
• スペクトル帯を別々のパッチ埋め込みとスペクトルエンコーディングでグルーピングする多スペクトルエンコーディングを実装する（SatMAE+Group）。
• pre-training データセット（fMoW, fMoW-Sentinel）と下流タスク（land cover, segmentation, multi-label classification）で prior-methods を上回る改善を評価する。

実験結果

リサーチクエスチョン

• RQ1 SatMAE は時系列衛星画像の自己教師付き事前学習を改善できるか。
• RQ2 下流のリモートセンシングタスクへの転移を最大化するために、時系列およびスペクトル次元をどのようにエンコードすべきか。
• RQ3 時系列エンコーディングとマスキング戦略は、不規則な時系列サンプリングや季節変動に対する頑健性を向上させるか。
• RQ4 スペクトル帯をグルーピングしスペクトルエンコーディングを使用することは多スペクトル事前学習に有益か。

主な発見

• SatMAE は監視付きベンチマークで最大7%の改善を、転移学習リモートセンシングタスクで最大14%の改善を達成する。
• 時系列エンコーディングと独立マスキングを備えた Temporal SatMAE が時系列 fMoW データで顕著な利得を示す。
• SatMAE+Group を fMoW-Sentinel で独立マスキングと組み合わせると ResNet-152 および MoCo ベースラインを上回る。
• スペクトル帯をグルーピングしスペクトルエンコーディングを使用することで性能が向上し、帯固有情報を保持する。ViT-Large が特に有効。
• fMoW Sentinel での事前学習は、下流の land cover および segmentation タスク（NAIP, EuroSAT, SpaceNet, BigEarthNet）で性能を向上させる。