[논문 리뷰] Analytical Insight of Earth: A Cloud-Platform of Intelligent Computing for Geospatial Big Data

Hao Xu, Yuanbin Man외 4명|arXiv (Cornell University)|2023. 12. 27.

Scientific Computing and Data Management인용 수 8

한 줄 요약

AI Earth는 지리공간 대용량 데이터용으로 Alibaba Cloud 위의 클라우드 네이티브 지능형 컴퓨팅 플랫폼으로, 데이터 카탈로그, AI 모델, 대형 비전 분할 모델 및 서드파티 모델 지원이 포함된 대화형/개발자 워크플로우를 제공합니다.

ABSTRACT

The rapid accumulation of Earth observation data presents a formidable challenge for the processing capabilities of traditional remote sensing desktop software, particularly when it comes to analyzing expansive geographical areas and prolonged temporal sequences. Cloud computing has emerged as a transformative solution, surmounting the barriers traditionally associated with the management and computation of voluminous datasets. This paper introduces the Analytical Insight of Earth (AI Earth), an innovative remote sensing intelligent computing cloud platform, powered by the robust Alibaba Cloud infrastructure. AI Earth provides an extensive collection of publicly available remote sensing datasets, along with a suite of computational tools powered by a high-performance computing engine. Furthermore, it provides a variety of classic deep learning (DL) models and a novel remote sensing large vision segmentation model tailored to different recognition tasks. The platform enables users to upload their unique samples for model training and to deploy third-party models, thereby increasing the accessibility and openness of DL applications. This platform will facilitate researchers in leveraging remote sensing data for large-scale applied research in areas such as resources, environment, ecology, and climate.

연구 동기 및 목표

• 전통적인 데스크탑 도구를 넘어서는 대규모 다시 시간(remote sensing) 데이터를 처리하고 분석하는 과제를 해결한다.
• 지리공간 분석을 위한 데이터 검색, AI 모델 학습 및 애플리케이션 배치를 통합하는 지능형 클라우드 플랫폼을 제공한다.
• GUI와 코드 인터페이스를 통해 공개 데이터 세트, 사용자 업로드 데이터 및 서드파티 모델에 유연하게 접근할 수 있도록 한다.

제안 방법

• ACK, MaxCompute, OSS 및 관련 서비스를 갖춘 Alibaba Cloud 인프라 위에 구축된 클라우드 네이티브 플랫폼으로서 AI Earth를 소개한다.
• Landsat 및 Sentinel 데이터셋을 포함한 데이터 카탈로그와 전 세계 및 지역 지리공간 데이터를 분산 저장을 위해 전처리된 상태로 제공한다.
• 툴박스 웹 UI와 개발자 코드 에디터의 두 가지 개발 모드와 이미지 및 시계열에 대한 연산을 위한 통합 API를 제공한다.
• 대량 비전 모델인 AI Earth Segment Anything (AIE-SEG)을 구현하여 이미지 간 배치 분할에 대한 제로샷 기능을 제공한다.
• 타일 기반 데이터 저장소에서 분산 실행을 최적화하기 위한 느슨 평가(lazy evaluation), AST 최적화 및 캐싱을 갖춘 DAG 기반 계산 엔진을 사용한다.
• 온-더-플라이 및 배치 계산 모드, 동적 리소스 스케줄링, 확장 가능한 처리를 위한 이웃 타일의 병렬 계산을 지원한다.

Figure 1: The framework of the AI Earth platform.

실험 결과

연구 질문

• RQ1 클라우드 기반의 지능형 컴퓨팅 플랫폼이 대규모 지리공간 빅데이터를 효율적으로 관리하고 분석할 수 있는가?
• RQ2 DAG, 느슨 평가, 타일 기반 저장소 등 어떤 아키텍처 선택이 클라우드 환경에서 효율적이고 확장 가능한 원격 감지 분석을 가능하게 하는가?
• RQ3 공개 및 사적 원격 감지 데이터 세트를 통합하고 STAC 호환 인터페이스를 통해 질의할 수 있는가?
• RQ4 GUI 및 코드 인터페이스가 지리공간 작업을 위한 DL 모델의 학습, 주석 달기 및 배치를 가장 잘 촉진하는가?
• RQ5 캐싱, 데이터 로딩 전략, 온-더-플라이 대 배치 등의 어떤 메커니즘이 대규모 시계열 분석의 성능 및 자원 활용을 개선하는가?

주요 결과

• AI Earth는 Landsat, Sentinel 및 관련 데이터 세트를 포함하는 멀티 페타바이트 규모의 데이터 카탈로그를 제공하며 공식 소스 대비 매일 업데이트(T+1)된다.
• 플랫폼은 ML 기반 분류 및 회귀를 포함해 440개가 넘는 지리공간 계산 기능을 지원하며, 사용자 제공 데이터나 사전 주석된 샘플로 학습을 가능하게 한다.
• AIE-SEG는 인터랙티브 주석 달기 및 이미지 전반에 걸친 배치 객체 추출에 대한 제로샷 기능을 제공한다.
• AST 최적화 및 느슨 평가를 갖춘 DAG 기반 실행 모델이 중복 계산을 줄이고 리프 노드 처리 시 데이터 로드를 최적화한다.
• 온-더-플라이 계산은 디버깅을 위해 보이는 맵 뷰포트의 픽셀 계산을 제한하고, 배치 계산은 지정된 출력 해상도와 투영을 지원하여 자원과 균형을 맞춘다.
• 타일 기반의 분산 계산 방식은 개별 타일의 병렬 처리와 이웃 타일의 공동 계산을 가능하게 하며 중복 작업을 피하기 위한 캐싱을 제공한다.

(a)