[论文解读] Lightweight, Pre-trained Transformers for Remote Sensing Timeseries

Gabriel Tseng, Cartuyvels, Ruben+4 more|arXiv (Cornell University)|Apr 27, 2023

Distributed and Parallel Computing Systems被引用 27

一句话总结

Presto 是一个轻量级的像素时间序列预训练变换器，用于遥感领域，参数和计算量极少，同时实现与大型模型竞争的性能，支持可扩展部署和灵活的迁移学习。

ABSTRACT

Machine learning methods for satellite data have a range of societally relevant applications, but labels used to train models can be difficult or impossible to acquire. Self-supervision is a natural solution in settings with limited labeled data, but current self-supervised models for satellite data fail to take advantage of the characteristics of that data, including the temporal dimension (which is critical for many applications, such as monitoring crop growth) and availability of data from many complementary sensors (which can significantly improve a model's predictive performance). We present Presto (the Pretrained Remote Sensing Transformer), a model pre-trained on remote sensing pixel-timeseries data. By designing Presto specifically for remote sensing data, we can create a significantly smaller but performant model. Presto excels at a wide variety of globally distributed remote sensing tasks and performs competitively with much larger models while requiring far less compute. Presto can be used for transfer learning or as a feature extractor for simple models, enabling efficient deployment at scale.

研究动机与目标

• 通过在像素时间序列上进行自监督学习，解决遥感中的稀疏且不可靠标签问题。
• 开发面向多传感器、具有时序结构的遥感数据的轻量级 transformer 架构。
• 实现鲁棒的下游迁移学习与特征提取，在输入不完整和数据模态变化的情况下。

提出的方法

• Presto 使用一个带编码器-解码器 Transformer 的掩蔽自编码框架，在来自多个传感器及衍生产品的像素时间序列上进行训练。
• 输入按时间步进行分组通道令牌化（如 S1、S2 RGB、ERA5、NDVI、DW），并被嵌入到一个共同的潜在空间中。
• 对令牌添加位置、月份和通道组编码，以传达时间、空间和传感器元数据。
• 采用结构化 masking 策略，在掩蔽类型之间进行随机选择（随机、通道组、连续时间步、时间步）以提升对缺失数据的鲁棒性。
• 在预训练阶段，使用 10m 分辨率下、覆盖 12 个月窗口的 21.5M 个像素样本，结合时序中的动态特征和时序外的静态特征。
• 在微调阶段，舍弃解码器，仅使用编码器作为特征提取器，或对下游任务进行微调。

实验结果

研究问题

• RQ1 一个以像素时间序列为焦点的 Transformer 是否能够在自监督方式下从多传感器遥感数据中学习有用的表征？
• RQ2 当输入在时间、通道或两者都不完整时，Presto 的表现如何？
• RQ3 一个轻量级、像素为基础的模型在时间序列和基于图像的遥感任务上，是否具备与更大规模的 CV 模型的竞争力？
• RQ4 Presto 能否作为特征提取器有效服务于具有不同数据模态与地理区域的多样化下游任务，或可被微调？

主要发现

• Presto 以比大型 ViT/ResNet 基线多达 1000 倍的可训练参数更少，以及推断时数量级更低的 FLOPs，仍实现竞争性性能。
• 当仅提供子集时间步或通道时，模型仍然有效，显示出对缺失数据的鲁棒性。
• 在 CropHarvest 时间序列任务上，Presto 在各种输入配置下均超过了最先进基线 TIML 和 MOSAIKS-1D。
• 对于回归任务（燃料水分、藻类暴发等），Presto 在各任务和设置下表现出强 RMSE，常常优于基线。
• 预训练相较随机初始化带来显著提升，在数据较少的情境中准确率提升约 22%，并且模型规模的扩展提升性能。