[论文解读] EarthPT: a time series foundation model for Earth Observation

Michael J. Smith, Luke Fleming+1 more|arXiv (Cornell University)|Sep 13, 2023

Remote-Sensing Image Classification被引用 4

一句话总结

EarthPT 是一个在 140 亿个时间序列标记的多光谱地球观测时间序列数据上训练的 7 亿参数自回归变换器基础模型，能够以约 0.05 的典型误差，提前五个月实现地表反射率和 NDVI 的像素级准确预测。它还能生成对动态土地利用分类等下游任务有用的语义有意义的嵌入表示。

ABSTRACT

We introduce EarthPT -- an Earth Observation (EO) pretrained transformer. EarthPT is a 700 million parameter decoding transformer foundation model trained in an autoregressive self-supervised manner and developed specifically with EO use-cases in mind. We demonstrate that EarthPT is an effective forecaster that can accurately predict future pixel-level surface reflectances across the 400-2300 nm range well into the future. For example, forecasts of the evolution of the Normalised Difference Vegetation Index (NDVI) have a typical error of approximately 0.05 (over a natural range of -1 -> 1) at the pixel level over a five month test set horizon, out-performing simple phase-folded models based on historical averaging. We also demonstrate that embeddings learnt by EarthPT hold semantically meaningful information and could be exploited for downstream tasks such as highly granular, dynamic land use classification. Excitingly, we note that the abundance of EO data provides us with -- in theory -- quadrillions of training tokens. Therefore, if we assume that EarthPT follows neural scaling laws akin to those derived for Large Language Models (LLMs), there is currently no data-imposed limit to scaling EarthPT and other similar `Large Observation Models.'

研究动机与目标

• 开发一种专用于地球观测（EO）时间序列数据的自监督、自回归变换器基础模型。
• 证明此类模型能够以高精度提前数月预测地表反射率和遥感指数（如 NDVI）。
• 表明 EarthPT 学习到的表示具有语义意义，可被用于下游任务（如精细化土地利用分类）。
• 确立地球观测数据是大规模观测模型扩展的庞大且未被充分利用的数据来源，具备 quadrillions（千万亿）级训练标记的潜力。

提出的方法

• EarthPT 是一个具有 7 亿参数的解码器变换器模型，基于 ClearSky 生成的类似哨兵-2 的反射率数据中的多光谱时间序列，以自回归、自监督的方式进行训练。
• 时间序列由 100×100 km 的 BNG 网格构成，包含 10 个光谱波段（400–2300 nm），并使用正弦和余弦编码对一年中的日期进行嵌入。
• 反射率值通过变换 $\hat{v} = v/500 - 1$ 归一化至 [-1, 1]，每个时间观测被视为一个独立标记。
• 模型在 2015 年 1 月至 2022 年 12 月期间，于英国区域的 140 亿个时间序列标记上进行训练，推理在 2023 年 1 月至 5 月期间进行测试。
• 从倒数第二层变换器中提取像素级嵌入，并对时间步长取平均，形成 1280 维表示。
• 通过主成分分析（PCA）进行降维，以可视化和分析学习到的嵌入空间的语义结构。

Figure 1 : Predictions of some common remote sensing indicators for a randomly chosen pixel within the UK National Grid TL tile. We condition EarthPT on ClearSky time series from 1st January 2015 to 1st January 2023, with outputs after this divergence date constituting a long-term forecast to be com

实验结果

研究问题

• RQ1 自监督、自回归的变换器模型能否在长时序范围内（如五个月）有效预测地球观测时间序列中的多光谱反射率值？
• RQ2 EarthPT 学习到的表示是否编码了关于地表动态（如植被周期或地表属性）的语义信息？
• RQ3 EarthPT 的嵌入是否可用于支持高度精细化的动态土地利用分类任务？
• RQ4 在可观测地球观测数据的巨大体量下，EarthPT 的可扩展性如何？

主要发现

• EarthPT 在五个月预测时长内，像素级 NDVI 预测的典型误差约为 0.05，优于简单的相位折叠历史平均模型。
• 该模型在 400–2300 nm 光谱范围内以高保真度预测地表反射率，支持关键遥感指数的预测。
• EarthPT 嵌入的 PCA 可视化揭示了连贯且具有物理意义的空间组织结构，按 NDVI、BSI 和 RGB 等指数呈现明显聚类。
• 当结合语义标签时，学习到的嵌入空间在动态地表覆盖分类等下游任务中展现出强大潜力。
• EarthPT 目前并非数据受限，仅在英国区域就拥有超过 4.3 万亿个标记，若地理范围扩展，总标记数可达千万亿量级，表明未来模型扩展潜力巨大。
• 假设 Chinchilla 扩展法则适用，EarthPT 可扩展至 50 万亿参数——比当前最先进大语言模型大三个数量级——且无数据瓶颈。

Figure 2 : Median L1 error and interquartile ranges of NDVI predictions for 1M pixels in the TL63 tile. EarthPT long-term forecasts out-perform a simple phase-folded model based on historical averages out to a horizon of five months.