[논문 리뷰] EarthPT: a time series foundation model for Earth Observation

Michael J. Smith, Luke Fleming외 1명|arXiv (Cornell University)|2023. 09. 13.

Remote-Sensing Image Classification인용 수 4

한 줄 요약

EarthPT는 140억 토큰의 다중스펙트럼 지구 관측 시계열 데이터를 기반으로 훈련된 7억 파라미터의 자동회귀형 트랜스포머 기초 모델로, 표면 반사율과 NDVI를 약 5개월 전까지 피그셀 수준에서 약 0.05의 평균 오차로 정확하게 예측할 수 있다. 또한 동적 토지 이용 분류 및 기타 후행 작업에 유용한 의미적으로 유의미한 임베딩을 생성한다.

ABSTRACT

We introduce EarthPT -- an Earth Observation (EO) pretrained transformer. EarthPT is a 700 million parameter decoding transformer foundation model trained in an autoregressive self-supervised manner and developed specifically with EO use-cases in mind. We demonstrate that EarthPT is an effective forecaster that can accurately predict future pixel-level surface reflectances across the 400-2300 nm range well into the future. For example, forecasts of the evolution of the Normalised Difference Vegetation Index (NDVI) have a typical error of approximately 0.05 (over a natural range of -1 -> 1) at the pixel level over a five month test set horizon, out-performing simple phase-folded models based on historical averaging. We also demonstrate that embeddings learnt by EarthPT hold semantically meaningful information and could be exploited for downstream tasks such as highly granular, dynamic land use classification. Excitingly, we note that the abundance of EO data provides us with -- in theory -- quadrillions of training tokens. Therefore, if we assume that EarthPT follows neural scaling laws akin to those derived for Large Language Models (LLMs), there is currently no data-imposed limit to scaling EarthPT and other similar `Large Observation Models.'

연구 동기 및 목표

• 지구 관측(EO) 시계열 데이터에 특화된 자기지도 학습, 자동회귀형 트랜스포머 기초 모델을 개발하는 것.
• 이러한 모델이 표면 반사율과 원격 감지 지표(예: NDVI)를 수개월 전에 높은 정확도로 예측할 수 있음을 입증하는 것.
• EarthPT가 토양 이용 분류와 같은 후행 작업에 활용할 수 있는 의미적으로 유의미한 표현을 학습하고 있음을 보여주는 것.
• 지구 관측 데이터가 대규모로 활용 가능한 잠재적 자원이며, 훈련 토큰 수가 수십경에서 수십조에 달하는 가능성을 입증하는 것.

제안 방법

• EarthPT는 7억 파라미터를 가진 디코딩 트랜스포머 모델로, ClearSky에서 생성한 시엠넷-2 유사 반사율 데이터의 다중스펙트럼 시계열 데이터를 자동회귀적이고 자기지도 학습 방식으로 훈련하였다.
• 시계열 데이터는 100×100km 크기의 BNG 타일에서 구성되며, 10개의 스펙트럼 대역(400–2300 nm)과 일년 중 일수를 활용한 사인 및 코사인 인코딩을 사용한 날짜 임베딩을 포함한다.
• 반사율 값은 변환식 $\hat{v} = v/500 - 1$ 를 통해 [-1, 1] 범위로 정규화되며, 각 시간 관측치는 단일 토큰으로 간주된다.
• 모델은 2015년 1월부터 2022년 12월까지 영국 지역에서의 시계열 데이터 총 140억 토큰을 기반으로 훈련되었으며, 추론 성능 평가는 2023년 1월부터 5월까지의 데이터로 테스트되었다.
• 피그셀 수준의 임베딩은 최전단의 트랜스포머 레이어에서 추출되어 시간 단계에 걸쳐 평균화되어 1280차원 표현으로 구성된다.
• 학습된 임베딩 공간의 의미적 구조를 시각화하고 분석하기 위해 주성분 분석(PCA)을 활용한다.

Figure 1 : Predictions of some common remote sensing indicators for a randomly chosen pixel within the UK National Grid TL tile. We condition EarthPT on ClearSky time series from 1st January 2015 to 1st January 2023, with outputs after this divergence date constituting a long-term forecast to be com

실험 결과

연구 질문

• RQ1 자기지도 학습, 자동회귀형 트랜스포머 모델이 장기 예측(예: 5개월)에 대해 다중스펙트럼 반사율 값을 지구 관측 시계열 데이터에서 효과적으로 예측할 수 있는가?
• RQ2 EarthPT가 학습한 표현은 식생 주기나 표면 특성과 같은 지표 표면 동역학에 대해 의미적으로 유의미한 정보를 담고 있는가?
• RQ3 EarthPT의 임베딩은 고해상도의 동적 토지 이용 분류 작업에 활용될 수 있는가?
• RQ4 지구 관측 데이터의 막대한 양을 고려할 때 EarthPT는 어느 정도 확장 가능한가?

주요 결과

• EarthPT는 5개월 예측 기간 동안 피그셀 수준의 NDVI 예측에서 약 0.05의 평균 오차를 기록하며, 단순한 단계 반복 역사 평균 모델보다 뛰어난 성능을 보였다.
• 모델은 400–2300 nm 스펙트럼 범위 전반에 걸쳐 표면 반사율을 고정밀도로 예측할 수 있었으며, 주요 원격 감지 지표의 예측이 가능했다.
• EarthPT 임베딩의 PCA 시각화 결과, 물리적으로 의미 있는 공간적 조직이 명확히 드러났으며, NDVI, BSI, RGB 등의 지표에 따라 뚜렷한 군집화가 관찰되었다.
• 의미적 레이블이 결합된 경우, 학습된 임베딩 공간은 동적 지구 표면 커버 분류와 같은 후행 작업에 강력한 잠재력을 보였다.
• EarthPT는 현재 데이터 제약이 없으며, 영국 지역에서만 4.3조 토큰 이상의 데이터에 접근 가능하고, 지리적 범위를 확장하면 수십조 토큰 수준으로 증가하여 향후 모델 확장 잠재력이 매우 크다.
• Chinchilla 스케일링 법칙이 적용된다고 가정할 경우, EarthPT는 현재 최첨단 LLM보다 3개 정도의 오르기 정도 더 큰 50조 파라미터로 확장 가능하며, 데이터 제약 없이 수행 가능하다.

Figure 2 : Median L1 error and interquartile ranges of NDVI predictions for 1M pixels in the TL63 tile. EarthPT long-term forecasts out-perform a simple phase-folded model based on historical averages out to a horizon of five months.