[論文レビュー] Analytical Insight of Earth: A Cloud-Platform of Intelligent Computing for Geospatial Big Data

Hao Xu, Yuanbin Man+4 more|arXiv (Cornell University)|Dec 27, 2023

Scientific Computing and Data Management被引用数 8

ひとこと要約

AI Earth は Alibaba Cloud 上のクラウドネイティブ知能計算プラットフォームで、地理空間ビッグデータ向けのデータカタログ、AIモデル、および大規模ビジョン分割モデルとサードパーティモデルのサポートを備えた対話型/開発者向けワークフローを提供します。

ABSTRACT

The rapid accumulation of Earth observation data presents a formidable challenge for the processing capabilities of traditional remote sensing desktop software, particularly when it comes to analyzing expansive geographical areas and prolonged temporal sequences. Cloud computing has emerged as a transformative solution, surmounting the barriers traditionally associated with the management and computation of voluminous datasets. This paper introduces the Analytical Insight of Earth (AI Earth), an innovative remote sensing intelligent computing cloud platform, powered by the robust Alibaba Cloud infrastructure. AI Earth provides an extensive collection of publicly available remote sensing datasets, along with a suite of computational tools powered by a high-performance computing engine. Furthermore, it provides a variety of classic deep learning (DL) models and a novel remote sensing large vision segmentation model tailored to different recognition tasks. The platform enables users to upload their unique samples for model training and to deploy third-party models, thereby increasing the accessibility and openness of DL applications. This platform will facilitate researchers in leveraging remote sensing data for large-scale applied research in areas such as resources, environment, ecology, and climate.

研究の動機と目的

• 従来のデスクトップツールを超える大規模・多時期リモートセンシングデータの処理と分析の課題に対処する。
• 地理空間分析のためのデータ取得、AIモデルの訓練、アプリケーション展開を統合する知能型クラウドプラットフォームを提供する。
• GUIおよびコードインターフェースを通じて、公開データセット、ユーザーアップロードデータ、およびサードパーティモデルへの柔軟なアクセスを可能にする。

提案手法

• AI Earth を ACK、MaxCompute、OSS などの関連サービスを備えた Alibaba Cloud インフラストラクチャ上のクラウドネイティブプラットフォームとして導入する。
• Landsat および Sentinel データセットを含むデータカタログと、分散ストレージのために前処理された全球および地域的地理空間データを提供する。
• ツールボックスWeb UIとデベロッパーコードエディタの二つの開発モードと、画像と時系列データの計算を統一的に扱う API を提供する。
• AIE-SEG（AI Earth Segment Anything）を実装し、ゼロショット能力を持つ大規模ビジョンモデルを用いて画像間でバッチ分割を行う。
• DAGベースの計算エンジンを採用し、遅延評価、AST最適化、キャッシュを活用して tile ベースのデータストア上の分散実行を最適化する。
• オンザフライおよびバッチ計算モードのサポート、動的リソーススケジューリング、平行タイル/隣接タイル計算によるスケーラブルな処理を提供する。

Figure 1: The framework of the AI Earth platform.

実験結果

リサーチクエスチョン

• RQ1 クラウド対応知能計算プラットフォームは、スケールで地理空間ビッグデータを効率的に管理・分析できるのか。
• RQ2 DAG、遅延評価、タイルベースのストレージといったアーキテクチャ選択が、クラウド環境における効率的でスケーラブルなリモートセンシング分析をどのように実現するのか。
• RQ3 公開データセットと私有リモートセンシングデータセットを、統一データカタログと STAC 準拠インタフェースを通じてどのように統合・照会できるのか。
• RQ4 GUIおよびコードインターフェースが、地理空間タスクのDLモデル訓練、注釈付け、展開を最適に促進する機能とは何か。
• RQ5 大規模時系列分析のパフォーマンスと資源利用を改善する仕組み（キャッシュ、データ読み込み戦略、オンザフライ vs バ batch）とは何か。

主な発見

• AI Earth は Landsat、Sentinel などを含むマルチペタバイト級データカタログを提供し、公式データソースより日次更新（T+1）を実現している。
• 本プラットフォームは ML ベースの分類・回帰を含む 440 を超える地理空間計算機能をサポートし、ユーザー提供データまたは事前注釈付きサンプルを用いた訓練を可能にしている。
• AIE-SEG は対話的な注釈付けと、画像間のオブジェクトをバッチ抽出するゼロショット機能を提供する。
• DAGベースの実行モデルは AST 最適化と遅延評価により、冗長な計算を削減し葉ノード処理のデータ読み込みを最適化する。
• オンザフライ計算は可視地図ビュー範囲にピクセル計算を制限してデバッグを容易にし、バッチ計算は指定された出力解像度と投影をサポートして資源と性能のバランスを取る。
• タイルベースの分散計算アプローチにより、個々のタイルの並列処理と隣接タイルの共同計算を可能にし、冗長作業を回避するキャッシュ機構を備える。

(a)