[论文解读] FoMo: Multi-Modal, Multi-Scale and Multi-Task Remote Sensing Foundation Models for Forest Monitoring

Nikolaos Ioannis Bountos, Arthur Ouaknine+2 more|arXiv (Cornell University)|Dec 15, 2023

Remote Sensing and LiDAR Applications被引用 5

一句话总结

本论文提出了 FoMo-Bench，这是首个用于森林监测的多模态、多尺度、多任务基准，整合了15个多样化的遥感数据集，包括用于树种分类的新型全球性 TalloS 数据集。论文提出了 FoMo-Net，一种通过光谱波段掩码自编码进行预训练的基础模型，在多种森林监测基准上，于分类、分割和检测任务中均实现了出色的零样本和微调性能。

ABSTRACT

Forests are vital to ecosystems, supporting biodiversity and essential services, but are rapidly changing due to land use and climate change. Understanding and mitigating negative effects requires parsing data on forests at global scale from a broad array of sensory modalities, and using them in diverse forest monitoring applications. Such diversity in data and applications can be effectively addressed through the development of a large, pre-trained foundation model that serves as a versatile base for various downstream tasks. However, remote sensing modalities, which are an excellent fit for several forest management tasks, are particularly challenging considering the variation in environmental conditions, object scales, image acquisition modes, spatio-temporal resolutions, etc. With that in mind, we present the first unified Forest Monitoring Benchmark (FoMo-Bench), carefully constructed to evaluate foundation models with such flexibility. FoMo-Bench consists of 15 diverse datasets encompassing satellite, aerial, and inventory data, covering a variety of geographical regions, and including multispectral, red-green-blue, synthetic aperture radar and LiDAR data with various temporal, spatial and spectral resolutions. FoMo-Bench includes multiple types of forest-monitoring tasks, spanning classification, segmentation, and object detection. To enhance task and geographic diversity in FoMo-Bench, we introduce TalloS, a global dataset combining satellite imagery with ground-based annotations for tree species classification across 1,000+ categories and hierarchical taxonomic levels. Finally, we propose FoMo-Net, a pre-training framework to develop foundation models with the capacity to process any combination of commonly used modalities and spectral bands in remote sensing.

研究动机与目标

• 为解决森林监测领域缺乏统一、大规模基准的问题，这些基准需整合多样化的数据模态、尺度与任务。
• 通过引入 TalloS，即一个包含超过1,100种植株物种类别的多模态数据集，提升森林监测数据集的全球地理与分类覆盖范围。
• 开发一种基础模型 FoMo-Net，能够处理多种遥感传感器与光谱波段，适用于多样化的下游森林监测任务。
• 通过在多样化遥感数据上进行自监督预训练，建立多任务、多模态森林监测的强基线。
• 通过公开可用的基准与模型，促进机器学习与森林生物学研究人员之间的协作。

提出的方法

• FoMo-Bench 整合了15个公开可用的数据集，涵盖卫星、航空与清查数据，包含多光谱、RGB、SAR 与 LiDAR 模态，覆盖多种空间、时间与光谱分辨率。
• TalloS 作为一个新型全球数据集被提出，结合了 Sentinel-2、Sentinel-1、ERA-5 气象数据、高程信息以及地理配准的树种标注，用于分层多类别分类。
• FoMo-Net 是一种基于视觉变换器的基础模型，通过在多样化遥感产品中随机掩码光谱波段，采用掩码自编码器（MAE）目标进行预训练。
• 预训练框架使模型能够重建缺失的光谱波段，从而在不同传感器类型与分辨率之间学习到稳健且可泛化的表征。
• 对 FoMo-Net 的微调在下游任务中进行，包括土地利用/土地覆盖分类、树种分类、语义分割与目标检测。
• 在 FoMo-Bench 上对模型进行多任务评估，并与专用模型及随机基线进行性能对比。

Figure 1 : The Forest Monitoring Benchmark. FoMo-Bench is composed of fifteen datasets, including TalloS (ours), counting seven groups of data with distinct physical properties and three tasks. In parallel, we introduce FoMo-Net, a baseline forest foundation model pre-trained using a spectral band m

实验结果

研究问题

• RQ1 一个整合了多模态、多尺度与多任务遥感数据的统一基准，能否提升森林监测模型的评估与开发？
• RQ2 通过掩码光谱波段重建进行预训练的基础模型，在多样化森林监测任务与传感器类型中，其泛化能力如何？
• RQ3 在树种分类任务中，整合全球性、细粒度树种数据（如 TalloS）在多大程度上能提升模型性能？
• RQ4 在森林监测的分类、分割与检测任务中，通用型基础模型 FoMo-Net 的性能与专用模型相比如何？
• RQ5 基础模型在处理低分辨率或复杂空间结构（如树冠）的目标检测任务时，存在哪些关键局限性？

主要发现

• FoMo-Net 在 TreeSatAI 数据集上表现具有竞争力，其在目标检测任务中的微 F1 分数优于专用模型，表明其具备强大的泛化能力。
• 该模型在土地利用/土地覆盖分类与多类别树种分类任务中表现出显著性能提升，其在 TalloS 上的微 F1 分数远超随机基线（≈1/1159）。
• FoMo-Net 为分割任务提供了强大的语义基础，尽管存在显著的分辨率差距，其性能仍可与专用模型相媲美。
• 与专用检测器相比，该模型在目标检测任务中的表现较弱，表明其在定位与分类单个树木方面仍面临挑战。
• 通过掩码自编码进行预训练使 FoMo-Net 能够在多种传感器与地面采样距离下重建缺失的光谱波段，表明其在超分辨率应用中具有潜力。
• 该模型的性能受限于树种数据中的类别不平衡与地理稀疏性，凸显了整合生物先验信息（如物种分布图）的必要性。

(a) FoMo-Bench spatial distribution without TalloS.