[論文レビュー] EarthPT: a time series foundation model for Earth Observation

Michael J. Smith, Luke Fleming+1 more|arXiv (Cornell University)|Sep 13, 2023

Remote-Sensing Image Classification被引用数 4

ひとこと要約

EarthPTは、140億トークンのマルチスペクトル地球観測時系列データを用いてトレーニングされた7億パラメータの自己教師付き自己回帰型トランスフォーマー基盤モデルであり、表面反射率およびNDVIを通常誤差約0.05で最大5か月先までピクセル単位で正確に予測可能である。また、動的土地利用分類などの下流タスクに有用な意味的意味のある埋め込みを生成する。

ABSTRACT

We introduce EarthPT -- an Earth Observation (EO) pretrained transformer. EarthPT is a 700 million parameter decoding transformer foundation model trained in an autoregressive self-supervised manner and developed specifically with EO use-cases in mind. We demonstrate that EarthPT is an effective forecaster that can accurately predict future pixel-level surface reflectances across the 400-2300 nm range well into the future. For example, forecasts of the evolution of the Normalised Difference Vegetation Index (NDVI) have a typical error of approximately 0.05 (over a natural range of -1 -> 1) at the pixel level over a five month test set horizon, out-performing simple phase-folded models based on historical averaging. We also demonstrate that embeddings learnt by EarthPT hold semantically meaningful information and could be exploited for downstream tasks such as highly granular, dynamic land use classification. Excitingly, we note that the abundance of EO data provides us with -- in theory -- quadrillions of training tokens. Therefore, if we assume that EarthPT follows neural scaling laws akin to those derived for Large Language Models (LLMs), there is currently no data-imposed limit to scaling EarthPT and other similar `Large Observation Models.'

研究の動機と目的

• 地球観測（EO）時系列データに特化した自己教師付き、自己回帰型トランスフォーマー基盤モデルの開発。
• このようなモデルが、表面反射率およびリモートセンシングインデックス（例：NDVI）を数か月先に高い精度で予測できることの実証。
• EarthPTが意味的意味のある表現を学習しており、詳細な土地利用分類などの下流タスクに活用できることの示唆。
• 地球観測データが、大型観測モデルのスケーリングに向けた膨大で未利用のデータソースを提供できることの確立。その潜在的トレーニングトークン数は10^15（100兆）単位に達する可能性がある。

提案手法

• EarthPTは、7億パラメータのデコード用トランスフォーマー・モデルであり、クリアスカイが生成したSentinel-2に類似た反射率データのマルチスペクトル時系列データを自己教師付きで自己回帰的にトレーニングした。
• 時系列データは100×100 kmのBNGタイルから構築され、10バンドのスペクトル（400–2300 nm）と、日付埋め込みとして年の通し日をサインおよびコサイン符号化したものが使用された。
• 反射率値は変換式 $\hat{v} = v/500 - 1$ により[-1, 1]に正規化され、各時系列観測が1つのトークンとして扱われた。
• 2015年1月から2022年12月までの英国地域における140億トークンの時系列データを用いてトレーニングを行い、推論は2023年1月～5月のデータでテストした。
• ピクセル単位の埋め込みは、最終から2番目のトランスフォーマー層から抽出され、時間ステップにわたって平均化され、1280次元の表現が得られた。
• 学習された埋め込み空間の意味的構造を可視化および分析するために、主成分分析（PCA）が用いられた。

Figure 1 : Predictions of some common remote sensing indicators for a randomly chosen pixel within the UK National Grid TL tile. We condition EarthPT on ClearSky time series from 1st January 2015 to 1st January 2023, with outputs after this divergence date constituting a long-term forecast to be com

実験結果

リサーチクエスチョン

• RQ1 自己教師付き、自己回帰型トランスフォーマー・モデルは、長期間（例：5か月）にわたる地球観測時系列データにおけるマルチスペクトル反射率値の予測に効果的に機能するか？
• RQ2 EarthPTが学習した表現は、植生サイクルや表面特性などの地表面ダイナミクスに関する意味的意味のある情報を符号化しているか？
• RQ3 EarthPTの埋め込みは、非常に詳細かつ動的である土地利用分類タスクに活用可能か？
• RQ4 地球観測データの膨大な量を考慮すると、EarthPTはどの程度スケーラブルか？

主な発見

• EarthPTは、5か月先の予測において、通常誤差約0.05のピクセル単位のNDVI予測精度を達成しており、単純な位相畳み込み履歴平均モデルを上回っている。
• モデルは400–2300 nmのスペクトル範囲全域で表面反射率を高い忠実度で予測でき、主要なリモートセンシングインデックスの予測を可能にしている。
• EarthPT埋め込みのPCA可視化により、物理的に意味のある空間的組織構造が明確に現れており、NDVI、BSI、RGBなどのインデックスごとに明確なクラスタリングが観察された。
• 意味的ラベルを組み合わせることで、動的土地被覆分類などの下流タスクにおいて、学習済み埋め込み空間が強く有望であることが示された。
• EarthPTは現在のところデータ制限を受けておらず、英国地域だけで4.3兆トークン以上のデータにアクセス可能であり、地理的スケーリングを考慮すると10^15（1京）トークンを超える可能性がある。これにより、将来的なモデルスケーリングの余地が非常に大きいことが示された。
• Chinchillaスケーリング法則が適用可能と仮定した場合、EarthPTは現在の最先端の大規模言語モデル（LLM）の3桁以上、50兆パラメータにまでスケーリング可能であり、データ制約なしに実現可能である。

Figure 2 : Median L1 error and interquartile ranges of NDVI predictions for 1M pixels in the TL63 tile. EarthPT long-term forecasts out-perform a simple phase-folded model based on historical averages out to a horizon of five months.