[论文解读] Foundation Models for Remote Sensing and Earth Observation: A Survey

Aoran Xiao, Weihao Xuan+5 more|arXiv (Cornell University)|Oct 22, 2024

Geological Modeling and Analysis被引用 6

一句话总结

这份综述回顾遥感基础模型（RSFMs），对 VFMs、VLMs、LLMs 及其他 RSFMs 进行分类，调查数据集和方法，并概述挑战与未来方向。

ABSTRACT

Remote Sensing (RS) is a crucial technology for observing, monitoring, and interpreting our planet, with broad applications across geoscience, economics, humanitarian fields, etc. While artificial intelligence (AI), particularly deep learning, has achieved significant advances in RS, unique challenges persist in developing more intelligent RS systems, including the complexity of Earth's environments, diverse sensor modalities, distinctive feature patterns, varying spatial and spectral resolutions, and temporal dynamics. Meanwhile, recent breakthroughs in large Foundation Models (FMs) have expanded AI's potential across many domains due to their exceptional generalizability and zero-shot transfer capabilities. However, their success has largely been confined to natural data like images and video, with degraded performance and even failures for RS data of various non-optical modalities. This has inspired growing interest in developing Remote Sensing Foundation Models (RSFMs) to address the complex demands of Earth Observation (EO) tasks, spanning the surface, atmosphere, and oceans. This survey systematically reviews the emerging field of RSFMs. It begins with an outline of their motivation and background, followed by an introduction of their foundational concepts. It then categorizes and reviews existing RSFM studies including their datasets and technical contributions across Visual Foundation Models (VFMs), Visual-Language Models (VLMs), Large Language Models (LLMs), and beyond. In addition, we benchmark these models against publicly available datasets, discuss existing challenges, and propose future research directions in this rapidly evolving field. A project associated with this survey has been built at https://github.com/xiaoaoran/awesome-RSFMs .

研究动机与目标

• 推动开发 RSFMs，以处理多样的遥感模态与任务，超越传统的特定任务模型。
• 总结与 RSFMs 相关的基础概念、架构与学习范式。
• 编目并分析现有的 RSFM 研究、数据集和在 VFMs、VLMs、LLMs 领域的技术贡献。
• 在公开可用的 RS 数据集上评估 RSFMs 的基准，讨论当前研究的局限性与差距。
• 提出未来的研究方向，以推动 RSFMs 在地球观测应用中的发展。

提出的方法

• 将 RSFMs 分类为 VFMs、VLMs、LLMs，以及面向 RS 应用的其他形式。
• 回顾预训练方法（有监督、自监督）及其与 RS 数据特征的匹配。
• 在 RSFMs 中分析 RS 传感器模态（RGB、MSI、HSI、SAR、LiDAR、DSM、TIR）。
• 讨论用于 RSFMs 的数据来源和预训练数据集，包括其规模和多样性。
• 检查典型的 RS 解释任务（场景分类、语义分割、检测、变化检测、VQA、描述生成、定位）。
• 总结性能基准测试并确定挑战与未来方向。

实验结果

研究问题

• RQ1 RSFMs 的主要类别有哪些，它们在模态和下游能力上有何差异？
• RQ2 用于开发 RSFMs 的数据集和预训练策略是什么，它们如何影响下游性能？
• RQ3 在将基础模型应用于 RS 数据时存在哪些关键挑战，哪些方向对未来工作有希望？
• RQ4 RSFMs 在常见的 RS 任务（场景分类、分割、检测、变化检测、VQA）中的表现如何？
• RQ5 为推进 RSFMs 在多样化 EO 应用中的发展，建议哪些研究方向？

主要发现

• RSFMs 被分类为 VFMs、VLMs、LLMs 及其他 RSFMs，每种在数据模态和任务上具有不同的特征。
• 存在向更大规模、更多样化的 RS 预训练数据集的趋势，越来越多地采用自监督学习，但在规模方面仍落后于通用领域的 FM。
• RS 数据与自然图像存在领域差距，导致零样本迁移的挑战，需要专门的适配。
• SAM 及其他面向分割的工具被讨论为与 RS 相关的、可对多模态实现提示分割的工具。
• 综述总结了用于预训练的多种 RS 数据集，并在传感器模态和任务上对 RSFMs 进行基准测试。
• 未来方向包括改进面向 RS 的特定架构、多模态集成，以及可扩展的 RSFM 预训练。