[论文解读] Analytical Insight of Earth: A Cloud-Platform of Intelligent Computing for Geospatial Big Data

Hao Xu, Yuanbin Man+4 more|arXiv (Cornell University)|Dec 27, 2023

Scientific Computing and Data Management被引用 8

一句话总结

AI Earth 是阿里云上的云原生智能计算平台，面向地理空间大数据，提供数据目录、AI 模型，以及带有大视角分割模型的交互/开发者工作流，并支持第三方模型。

ABSTRACT

The rapid accumulation of Earth observation data presents a formidable challenge for the processing capabilities of traditional remote sensing desktop software, particularly when it comes to analyzing expansive geographical areas and prolonged temporal sequences. Cloud computing has emerged as a transformative solution, surmounting the barriers traditionally associated with the management and computation of voluminous datasets. This paper introduces the Analytical Insight of Earth (AI Earth), an innovative remote sensing intelligent computing cloud platform, powered by the robust Alibaba Cloud infrastructure. AI Earth provides an extensive collection of publicly available remote sensing datasets, along with a suite of computational tools powered by a high-performance computing engine. Furthermore, it provides a variety of classic deep learning (DL) models and a novel remote sensing large vision segmentation model tailored to different recognition tasks. The platform enables users to upload their unique samples for model training and to deploy third-party models, thereby increasing the accessibility and openness of DL applications. This platform will facilitate researchers in leveraging remote sensing data for large-scale applied research in areas such as resources, environment, ecology, and climate.

研究动机与目标

• 解决传统桌面工具之外的大规模多时相遥感数据的处理与分析挑战。
• 提供一个智能云平台，整合数据检索、AI 模型训练和地理空间分析应用部署。
• 通过 GUI 与代码接口实现对公开数据集、用户上传数据和第三方模型的灵活访问。

提出的方法

• 介绍基于阿里云基础设施（ACK、MaxCompute、OSS 等相关服务）构建的云原生平台 AI Earth。
• 提供含 Landsat 与 Sentinel 数据集的元数据目录，以及其他全球与区域地理空间数据，预处理以适合分布式存储。
• 提供两种开发模式（toolbox web UI 与 developer code editor）及统一的计算 API，用于图片与时间序列的计算。
• 实现 AI Earth Segment Anything (AIE-SEG)，具备对批量图片进行零样本分割的能力的大型视觉模型。
• 使用基于有向无环图（DAG）的计算引擎，进行惰性求值、AST 优化和缓存，以优化在基于瓦片的数据存储上的分布式执行。
• 支持即时（on-the-fly）和批量计算模式、动态资源调度，以及并行瓦片/邻近瓦片计算以实现可扩展处理。

Figure 1: The framework of the AI Earth platform.

实验结果

研究问题

• RQ1 云端智能计算平台如何在大规模上高效管理与分析地理空间大数据？
• RQ2 哪些架构选择（DAG、惰性求值、基于瓦片的存储）可以在云环境中实现高效、可扩展的遥感分析？
• RQ3 如何通过统一的数据目录和 STAC 兼容接口整合并查询公开与私有的遥感数据集？
• RQ4 哪些能力（GUI 和代码接口）最有助于训练、标注和部署用于地理任务的深度学习模型？
• RQ5 哪些机制（缓存、数据加载策略、即时与批量）能提升大规模时间序列分析的性能与资源利用率？

主要发现

• AI Earth 提供含 Landsat、Sentinel 等数据的大量级数据目录，且每日更新（T+1）相较官方源具有优势。
• 该平台支持超过 440 种地理空间计算功能，包括基于 ML 的分类与回归，并可使用自有数据或预标注样本进行训练。
• AIE-SEG 提供交互式标注和对跨图像对象的零样本批量提取能力。
• 基于 DAG 的执行模型结合 AST 优化与惰性求值可减少冗余计算并优化叶节点处理的数据加载。
• 即时计算将像素计算限制在可视地图视窗以便调试，而批量计算则支持指定输出分辨率与投影以平衡资源。
• 基于瓦片的分布式计算方法支持对单个瓦片的并行处理以及相邻瓦片的联合计算，并通过缓存避免重复工作。

(a)