[論文レビュー] PANGAEA: A Global and Inclusive Benchmark for Geospatial Foundation Models

Valerio Marsocci, Yuru Jia+13 more|arXiv (Cornell University)|Dec 5, 2024

Geological Modeling and Analysis被引用数 5

ひとこと要約

PANGAEAは地理空間ファウンデーションモデル（GFMs）のグローバルで多様なベンチマークプロトコルを提案し、いくつかのGFMsを監督付きベースラインと比較評価し、再現性があり拡張可能なベンチマークのためのオープンソースコードを提供します。

ABSTRACT

Geospatial Foundation Models (GFMs) have emerged as powerful tools for extracting representations from Earth observation data, but their evaluation remains inconsistent and narrow. Existing works often evaluate on suboptimal downstream datasets and tasks, that are often too easy or too narrow, limiting the usefulness of the evaluations to assess the real-world applicability of GFMs. Additionally, there is a distinct lack of diversity in current evaluation protocols, which fail to account for the multiplicity of image resolutions, sensor types, and temporalities, which further complicates the assessment of GFM performance. In particular, most existing benchmarks are geographically biased towards North America and Europe, questioning the global applicability of GFMs. To overcome these challenges, we introduce PANGAEA, a standardized evaluation protocol that covers a diverse set of datasets, tasks, resolutions, sensor modalities, and temporalities. It establishes a robust and widely applicable benchmark for GFMs. We evaluate the most popular GFMs openly available on this benchmark and analyze their performance across several domains. In particular, we compare these models to supervised baselines (e.g. UNet and vanilla ViT), and assess their effectiveness when faced with limited labeled data. Our findings highlight the limitations of GFMs, under different scenarios, showing that they do not consistently outperform supervised models. PANGAEA is designed to be highly extensible, allowing for the seamless inclusion of new datasets, models, and tasks in future research. By releasing the evaluation code and benchmark, we aim to enable other researchers to replicate our experiments and build upon our work, fostering a more principled evaluation protocol for large pre-trained geospatial models. The code is available at https://github.com/VMarsocci/pangaea-bench.

研究の動機と目的

• GFMの厳密で頑健な評価を、狭い下流タスクや地理的なバイアスのあるデータセットを超えて促進する。
• 都市・農業・海洋・森林環境を網羅する多様で複数分野にまたがるベンチマークを確立する。
• さまざまなセンサ・解像度・時系列性に渡り、一般化能力・データ効率・監督付きベースラインと比較したパフォーマンスを評価する。
• コードとモジュール化されたベンチマーキングフレームワークを公開することで再現性と拡張性を促進する。

提案手法

• ドメイン・モダリティ・時系列・地理を横断する多様なEOデータセットを厳選する。
• セマンティックセグメンテーション・変化検出・回帰などの密な予測タスクを含め、単純なパッチレベルの分類や物体検出は除外する。
• 自己教師あり・教師ありのベースラインを含む複数のオープンソースGFMsを、完全ラベルと限定ラベルなどさまざまな学習条件下で評価する。
• 前学習データの特性（スペクトルの豊かさ・空間解像度）と下流タスク/時系列整合性がGFMの性能に与える影響を分析する。
• 新しいデータセット・モデル・タスクの追加をサポートする拡張可能なベンチマークフレームワークを提供し、評価コードを公開する。

Figure 1: Normalized performance comparison of different models across various datasets and training conditions. The y-axis represents the normalized performance across the 11 PANGAEA’s datasets, where the best-performing model for each dataset is assigned a value of 1 and the worst-performing model

実験結果

リサーチクエスチョン

• RQ1 多様な下流ドメインやタスクに対してGFMsは効果的に一般化するか？
• RQ2 多様なセンサモダリティと時系列設定に渡ってGFMsは一貫して監督付きベースラインを上回るか？
• RQ3 前学習データの特性とラベルの有無はGFMの下流パフォーマンスにどう影響するか？
• RQ4 タスクとアーキテクチャを問わず微調整とエンコーダの凍結のどちらが明確に有利か？

主な発見

• GFMsは一般的にタスクをうまくこなすが、監督付きベースラインを一貫して上回るわけではない。
• スペクトル情報が豊富、または空間解像度が高い前学習データは、これらの特徴を必要とする下流タスクの性能を向上させる傾向がある。
• ラベルが限定的な状況では、いくつかのGFMs（例：CROMA）はいくつかのベースラインを上回ることがあるが、普遍的ではない。
• 微調整は場合によって性能を向上させるが、エンコーダを凍結する方が常に優れているわけではない。

Figure 2: PANGAEA aims for robust evaluation across diverse downstream datasets and applications.