[论文解读] Prithvi-EO-2.0: A Versatile Multi-Temporal Foundation Model for Earth Observation Applications
Prithvi-EO-2.0 是一个多时相地理空间基础模型(300M/600M 参数),在 4.2M HLS-Sentinel-2 样本上训练,具备时序和位置嵌入,在 GEO-Bench 与下游任务上表现出色。
This paper presents Prithvi-EO-2.0, a new geospatial foundation model that offers significant improvements over its predecessor, Prithvi-EO-1.0. Trained on 4.2 million global time series samples from NASA's Harmonized Landsat and Sentinel-2 data archive at 30-m resolution, the new model incorporates temporal and location embeddings for enhanced performance across various geospatial tasks. Through extensive benchmarking with GEO-Bench, the model outperforms the previous Prithvi-EO model by 8% across a range of tasks. It also outperforms six other geospatial foundation models when benchmarked on remote sensing tasks from different domains and resolutions (i.e. from 0.1 m to 15 m). The results demonstrate the versatility of the model in both classical Earth observation and high-resolution applications. Early involvement of end-users and subject matter experts (SMEs) allowed constant feedback on model and dataset design, enabling customization across diverse SME-led applications in disaster response, land cover and crop mapping, and ecosystem dynamics monitoring. Prithvi-EO-2.0 is available as an open-source model on Hugging Face and IBM TerraTorch, with additional resources on GitHub. The project exemplifies the Trusted Open Science approach embraced by all involved organizations.
研究动机与目标
- 将 Prithvi-EO-2.0 作为多时相地理空间基础模型引入,并扩展 1.0 的前身。
- 利用一个大规模、多样性的 30m 分辨率 HLS-Sentinel-2 预训练数据集,以捕捉季节性和长期趋势。
- 通过 GEO-Bench 基准测试和 SME 主导的下游应用在灾害响应、土地利用和生态系统监测等方面进行评估。
- 通过 Hugging Face、Terratorch 和 GitHub 提供易于微调的工具与开放科学协作。
提出的方法
- 在一个遮罩自编码器(MAE)框架中,使用 3D 补丁嵌入和 3D 位置编码来容纳时空输入。
- 将地理定位和日期元数据作为可学习的偏置项加入到标记嵌入中,并采用丢弃机制处理缺失的元数据。
- 使用 ViT 主干在 4.2M 训练样本和 46k 验证样本的 HLS 数据集上对两个模型尺寸(300M 和 600M)进行预训练。
- 在 JUWELS Booster 硬件上使用分布式数据并行进行 400 轮训练;调整超参数并以固定的 224x224 输入尺寸进行评估。
- 通过 Hugging Face 和 IBM terratorch 暴露模型,以促进分类、分割和回归任务的下游微调。

实验结果
研究问题
- RQ1相比于较早的 Prithvi 模型和其他 GFMs,多时相、30m 分辨率的 GFM 在多样化 EO 任务上的表现如何?
- RQ2在分类和分割基准上的表现,显式的时间嵌入和位置嵌入的影响是什么?
- RQ3SME 指导的评估和终端用户工具是否能提升地理空间基础模型的采用率和实际应用性?
- RQ4使用 Prithvi-EO-2.0,面向下游 EO 任务可实现何种数据效率和泛化水平?
主要发现
- 带有时序和位置嵌入的 600M 版本在 GEO-Bench 数据集上达到顶级表现,优于其他六种地理空间基础模型。
- Prithvi-EO-2.0-600M-TL 和 -600M 在 12 个 GEO-Bench 数据集(分类和分割)上获得最佳综合表现;总体结果显示相对于 Prithvi-EO-1.0 和 100M 变体有所改进。
- 与 Prithvi-EO-1.0-100M 相比,相同架构在更大的全球数据集上进行预训练,约获得 3% 的 GEO-Bench 提升,在某些任务上的增益更大。
- 4.2M 训练样本和 46k 验证样本支持在 30m 分辨率下进行稳健的预训练,使其能够泛化到更高分辨率的任务(0.1m–15m)和非 S2 域。
- 下游 SME 主导的任务在灾害响应、土地利用、作物制图和生态系统动态方面显示出实际应用性,并通过 TerraTorch 提供微调入口。

阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。