[論文レビュー] SpectralGPT: Spectral Remote Sensing Foundation Model

Danfeng Hong, Bing Zhang+12 more|arXiv (Cornell University)|Nov 13, 2023

Remote-Sensing Image Classification被引用数 60

ひとこと要約

SpectralGPTは、3D generative pretrained transformerを用いたスペクトルリモートセンシング基盤モデルで、one million Sentinel-2 imagesを超えるデータで訓練され、scene classification、semantic segmentation、change detectionを評価します。最先端の結果を達成し、varying image sizes and datasetsにわたるprogressive trainingをサポートします。

ABSTRACT

The foundation model has recently garnered significant attention due to its potential to revolutionize the field of visual representation learning in a self-supervised manner. While most foundation models are tailored to effectively process RGB images for various visual tasks, there is a noticeable gap in research focused on spectral data, which offers valuable information for scene understanding, especially in remote sensing (RS) applications. To fill this gap, we created for the first time a universal RS foundation model, named SpectralGPT, which is purpose-built to handle spectral RS images using a novel 3D generative pretrained transformer (GPT). Compared to existing foundation models, SpectralGPT 1) accommodates input images with varying sizes, resolutions, time series, and regions in a progressive training fashion, enabling full utilization of extensive RS big data; 2) leverages 3D token generation for spatial-spectral coupling; 3) captures spectrally sequential patterns via multi-target reconstruction; 4) trains on one million spectral RS images, yielding models with over 600 million parameters. Our evaluation highlights significant performance improvements with pretrained SpectralGPT models, signifying substantial potential in advancing spectral RS big data applications within the field of geoscience across four downstream tasks: single/multi-label scene classification, semantic segmentation, and change detection.

研究の動機と目的

• foundation models tailored to spectral remote sensing dataのギャップを埋める。
• spatial-spectral couplingとspectral sequentialityを捉える3D masked, transformer-based pretraining frameworkを開発する。
• diverse RSデータセットと varying image sizesにわたるprogressive pretrainingを実現し、robust generalizationを確保する。
• single-labelおよび multi-label classification、semantic segmentation、change detectionにおいてSOTAを上回ることを実証する。
• RSタスク用の新しいurban semantic segmentation benchmark (SegMunich)を導入する。

提案手法

• SpectralGPTを導入する。これはspectral RSデータに特化したMAEライクな枠組みの3D masked autoencoder-based foundation modelである。
• 3D tensor maskingを90%の masking ratioで適用し、H×W×Dデータの空間-スペクトルトークンをモデル化する。
• encoderで可視トークンから空間-スペクトル表現を学習し、multi-target reconstruction (token-to-tokenとspectral-to-spectral)の軽量デコーダを用いる。
• 大型のSentinel-2ベースデータセット（over 1M images）を用いたprogressive pretrainingを、データセットサイズ・解像度・時系列・地域の異なる設定で適用する。
• 2つの学習可能な位置エンベディング（空間とスペクトル）と8×8×3 tokenizationを備えたViTベースの backboneを採用し、AdamWとコサイン減衰で200 epochs (fMoW-S2) その後100 epochs (BigEarthNet-S2)訓練する。
• finetuningを用いてDownstreamタスクを評価する。 pretrained SpectralGPTおよびSpectralGPT+で、single-label EuroSAT (accuracy)、multi-label BigEarthNet-S2 (macro/micro mAP)、semantic segmentation (OAとmIoU)、change detection (precision/recall/F1)を測定する。

実験結果

リサーチクエスチョン

• RQ1 3D masked generative pretraining frameworkは、 hyperspectralデータにおける空間-スペクトル結合とspectrally sequential情報を捉えられるか？
• RQ2 diverse spectral RSデータセットを跨るprogressive pretrainingは、downstreamタスクの性能と一般化を改善するか？
• RQ3 SpectralGPTはRSベンチマークにおいてRGB指向の基盤モデルおよび従来のスペクトル事前学習法と比べてどうか？
• RQ4 モデルスケール(Base/Large/Huge)と masking strategyがdownstream RSタスクに与える影響は？
• RQ5 新しいSegMunich benchmarkは都市部RS環境のsemantic segmentation研究を促進できるか？

主な発見

• SpectralGPT/BaseはEuroSATで99.15% accuracyを達成、fMoW-S2 pretraining、fMoW-S2 plus BigEarthNetで精度は99.21%に向上。
• SpectralGPTはEuroSATの単一ラベル分類で、ResNet50、SeCo、ViT、SatMAEのベースラインを上回る。
• BigEarthNet-S2でSpectralGPT系はViT/ImageNet-22kおよびSatMAEベースラインよりmacro/micro mAPが高く、SpectralGPT+は88.22% macro-mAPおよび87.50% micro-mAP（報告値）を達成。
• 3D maskingを90%のレートで適用し、multi-target reconstructionを行うことで、空間-スペクトルおよびスペクトル順序パターンの学習が改善される。
• progressive pretrainingにより、入力画像のサイズ・解像度・時系列・地域が異なるデータを扱えるようになり、RSデータ全体での一般化が向上する。
• 都市部RSパフォーマンスを評価するための13クラスを持つ新しいSegMunich benchmarkデータセットを作成した。