Skip to main content
QUICK REVIEW

[논문 리뷰] Prithvi-EO-2.0: A Versatile Multi-Temporal Foundation Model for Earth Observation Applications

Daniela Szwarcman, Sujit Roy|arXiv (Cornell University)|2024. 12. 03.
Advanced Computational Techniques and ApplicationsComputer Science인용 수 16
한 줄 요약

Prithvi-EO-2.0은 시간 다중의 지리정보 기초 모델(300M/600M 매개변수)로, 4.2M HLS-Sentinel-2 샘플에 대해 시계열 및 위치 임베딩을 사용해 학습되었으며, GEO-Bench 및 다운스트림 태스크에서 강력한 성능을 달성한다.

ABSTRACT

This paper presents Prithvi-EO-2.0, a new geospatial foundation model that offers significant improvements over its predecessor, Prithvi-EO-1.0. Trained on 4.2 million global time series samples from NASA's Harmonized Landsat and Sentinel-2 data archive at 30-m resolution, the new model incorporates temporal and location embeddings for enhanced performance across various geospatial tasks. Through extensive benchmarking with GEO-Bench, the model outperforms the previous Prithvi-EO model by 8% across a range of tasks. It also outperforms six other geospatial foundation models when benchmarked on remote sensing tasks from different domains and resolutions (i.e. from 0.1 m to 15 m). The results demonstrate the versatility of the model in both classical Earth observation and high-resolution applications. Early involvement of end-users and subject matter experts (SMEs) allowed constant feedback on model and dataset design, enabling customization across diverse SME-led applications in disaster response, land cover and crop mapping, and ecosystem dynamics monitoring. Prithvi-EO-2.0 is available as an open-source model on Hugging Face and IBM TerraTorch, with additional resources on GitHub. The project exemplifies the Trusted Open Science approach embraced by all involved organizations.

연구 동기 및 목표

  • Prithvi-EO-2.0을 다중 시점 지리공간 기초 모델로 소개하고 1.0 전임모델을 확장한다.
  • 계절성 및 장기 추세를 포착하기 위해 크고 다양한 30m HLS-Sentinel-2 사전학습 데이터세트를 활용한다.
  • GEO-Bench 벤치마킹 및 재해 대응, 토지 이용, 생태계 모니터링에 걸친 SME 주도 다운스트림 애플리케이션을 통해 평가한다.
  • Hugging Face, Terratorch, GitHub를 통한 손쉬운 파인튜닝 및 개방형 과학 협업 도구를 제공한다.

제안 방법

  • 3D 패치 임베딩과 3D 위치 인코딩을 사용하여 마스크드 오토인코더(MAE) 프레임워크에서 시공간 입력을 처리한다.
  • 지오로케이션 및 날짜 메타데이터를 학습 가능한 바이어스 항으로 포함하고, 누락된 메타데이터를 처리하기 위한 드롭 메커니즘을 토큰 임베딩에 추가한다.
  • HLS 데이터셋의 4.2M 학습 샘플과 46k 검증 샘플을 사용하여 ViT 백본으로 두 개의 모델 사이즈(300M 및 600M)를 사전 학습한다.
  • JUWELS Booster 하드웨어에서 분산 데이터 병렬 처리로 400 에폭 학습; 하이퍼파라미터를 조정하고 고정 입력 크기 224x224로 평가한다.
  • 분류, 분할, 회귀 태스크의 다운스트리밍 파인튜닝을 용이하게 하기 위해 Hugging Face 및 IBM terratorch를 통해 모델을 공개한다.
Figure 1 : LULC distribution of the training samples in comparison to all land tiles.
Figure 1 : LULC distribution of the training samples in comparison to all land tiles.

실험 결과

연구 질문

  • RQ1다중 시점, 30m 해상도 GFM이 기존 Prithvi 모델 및 다른 GFM과 비교해 다양한 EO 태스크에서 어떻게 성능을 보이나요?
  • RQ2명시적 시계열 및 위치 임베딩이 분류 및 분할 벤치마크에서 성능에 미치는 영향은 무엇인가요?
  • RQ3SME 주도 평가와 최종 사용자 도구가 지리공간 기초모델의 채택 및 현장 적용 가능성을 향상시킬 수 있나요?
  • RQ4Prithvi-EO-2.0을 사용한 다운스트림 EO 태스크에서 어떤 수준의 데이터 효율성과 일반화가 달성될 수 있나요?

주요 결과

  • 시간 및 위치 임베딩이 있는 600M 버전이 GEO-Bench 데이터셋 전체에서 최상의 성능을 달성하여 여섯 가지 다른 지리공간 기초모델을 능가한다.
  • Prithvi-EO-2.0-600M-TL 및 -600M은 12개 GEO-Bench 데이터셋(분류 및 분할)에서 최상의 결합 성능을 달성한다; 전체 결과는 Prithvi-EO-1.0 및 100M 버전에 비해 개선을 보여준다.
  • Prithvi-EO-1.0-100M과 비교할 때 더 큰 글로벌 데이터세트에서 사전 학습된 동일 아키텍처는 약 3% GEO-Bench 향상을 가져오며 특정 태스크에서 더 큰 이득이 있다.
  • 4.2M 학습 샘플과 46k 검증 샘플은 30m 해상도에서 견고한 사전 학습을 지원하며, 더 높은 해상도 태스크(0.1m–15m) 및 비-S2 도메인으로의 일반화를 가능하게 한다.
  • 하류 SME 주도 태스크는 재해 대응, 토지 이용, 작물 매핑 및 생태계 역학에서 실용적 적용 가능성을 보여주며, 파인튜닝을 위한 TerraTorch를 통한 온램프(on-ramps)가 있다.
Figure 2 : Global HLS dataset distribution visualized on a tile-level. The number of training samples are color-coded in orange to green while validation tiles are visualized in blue.
Figure 2 : Global HLS dataset distribution visualized on a tile-level. The number of training samples are color-coded in orange to green while validation tiles are visualized in blue.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.