[論文レビュー] Neural Plasticity-Inspired Multimodal Foundation Model for Earth Observation

Zhitong Xiong, Yi Wang+8 more|arXiv (Cornell University)|Mar 22, 2024

Computational Physics and Python Applications被引用数 19

ひとこと要約

DOFAを紹介する。神経可塑性に着想を得た動的で波長条件付きの多模態基盤モデルは、光学、レーダー、マルチスペクトル、ハイパースペクトルの地球観測データを1つのTransformerフレームワーク内で統合・適応的に処理します。未見のセンサーにも対応した強力なセンサー間性能を、効率的なファインチューニングで実現します。

ABSTRACT

Earth observation (EO) in open-world settings presents a unique challenge: different applications rely on diverse sensor modalities, each with varying ground sampling distances, spectral ranges, and numbers of spectral bands. However, existing EO foundation models are typically tailored to specific sensor types, making them inflexible when generalizing across the heterogeneous landscape of EO data. To address this, we propose the Dynamic One-For-All (DOFA) model, a unified, multimodal foundation framework designed for diverse vision tasks in EO. Inspired by neural plasticity, DOFA utilizes a wavelength-conditioned dynamic hypernetwork to process inputs from five distinct satellite sensors flexibly. By continually pretraining on five EO modalities, DOFA achieves state-of-the-art performance across multiple downstream tasks and generalizes well to unseen modalities. Enhanced with hybrid continual pretraining, DOFA+ requires significantly fewer computational resources while outperforming counterparts trained with extensive GPU budgets. Experiments on diverse datasets highlight DOFA's potential as a foundation for general-purpose vision models in the sensor-diverse EO domain. The code and pre-trained weights are publicly available at https://github.com/zhu-xlab/DOFA.

研究の動機と目的

• 複数のセンサーとモダリティからの地球観測(EO)データに対する統一的な基盤モデルの構築を動機づける。
• スペクトル波長によって重みを適応させるニューラル可塑性の概念を用いたDynamic One-For-All (DOFA)アーキテクチャを提案する。
• 動的な波長条件付きパッチ埋め込みを備えた単一の共有Transformerバックボーンが、さまざまなEOタスクで卓越できることを示す。
• 自己教師付き継続的事前学習と蒸留ベースの知識転送による計算効率を実証する。

提案手法

• チャネル波長に基づいてパッチ埋め込みを条件付けし、モダリティ固有のカーネルを生成するハイパーネットワーク駆動の動的重み生成器を提案する。
• マルチモーダルデータ処理のために、動的エンコーダ/デコーダコンポーネントを備えた共同のVision Transformerバックボーンを使用する。
• 蒸馏損失を用いたマスクド画像モデリング(MIM)を採用し、事前学習済み表現を活用して収束を加速する。
• 波長ベースの位置エンコーディングと継続的事前学習フレームワークを採用し、異なるスペクトル帯を持つセンサー間で表現を整合させる。
• 複数センサーにまたがる12のEOタスクでDOFAを評価し、最先端の基盤モデルおよび完全に監視付きベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 単一の動的に重み付けされたTransformerモデルは、SAR、光学、マルチスペクトル、ハイパースペクトルといった多様なEOセンサーからのデータを効果的に統合・処理できるだろうか？
• RQ2 波長条件付きの動的パッチ埋め込みは、異なるスペクトル分解能を持つ未見センサーを含むセンサー間の汎化にどう影響するか？
• RQ3 DOFAは、分類およびセグメンテーションのEOタスクにおいて、既存のSOTA基盤モデルと比較して収束を速め、競争力のある性能を発揮するか？
• RQ4 蒸留を伴う継続的事前学習は、スクラッチからの再学習なしに新しいモダリティへ効率的に転移させることができるか？

主な発見

方法	バックボーン	m-bigearthnet	m-forestnet	m-brick-kiln	m-pv4ger	m-so2sat	m-eurosat
Fully Trained	ViT-S	66.0	53.8	98.1	97.6	57.5	97.3
Fully Trained	SwinV2-T	70.0	58.0	98.7	98.0	56.1	97.4
Fully Trained	ConvNext-B	69.1	56.8	98.9	98.0	58.1	97.7
rand. init.	ViT-B	52.9	41.5	84.5	91.3	38.3	85.7
MAE_Single 37	ViT-B	63.6	-	88.9	92.2	50.0	89.0
OFA-Net 36	ViT-B	65.0	-	94.7	93.2	49.4	91.9
SatMAE 18	ViT-B	62.1	-	93.9	-	46.9	86.4
Scale-MAE 15	ViT-L	-	-	-	96.9	-	-
GFM 14	Swin-B	-	-	-	96.8	-	-
Cross-Scale MAE 16	ViT-B	-	-	-	93.1	-	-
FG-MAE 17	ViT-B	63.0	-	94.7	-	51.4	87.0
CROMA 20	ViT-B	67.4	-	91.0	-	49.2	90.1
DOFA	ViT-B	63.8	45.3	94.7	96.9	52.1	92.2
DOFA	ViT-L	64.4	47.4	95.1	97.3	59.3	93.8

• DOFAは、ファインチューニング後の分類/セグメンテーションで、13の下流データセット中12件でほとんどの最先端基盤モデルを上回る。
• 共有バックボーンと動的な波長条件付き埋め込みを持つ単一のDOFAモデルは、複数のEOタスクで、完全に訓練されたモダリティ別モデルと同等、あるいはそれ以上を達成する。
• DOFAは収束が速く、事前学習中に未見だったセンサー（例: Landsat 8）への転移にも強いことを示す。
• ImageNetで事前学習された教師モデルからの蒸留を伴う継続的事前学習は、異種スペクトル帯間での知識転移を効率化する。
• 指標結果は、複数の GEO-Bench および RESISC-45 タスクで、既存手法と比較してトップ-1 精度およびMean IoU が競争力ある、あるいは上回ることを示す。