[論文レビュー] Multi-modal learning for geospatial vegetation forecasting

Vitus Benson, Claire Nicolle Robin+8 more|arXiv (Cornell University)|Mar 28, 2023

Remote Sensing in Agriculture被引用数 22

ひとこと要約

本論文は Meteo-guided video prediction を拡張し、過去/未来の天候と標高を条件付けることにより、ヨーロッパ全体の高解像度の植生（NDVI）予測を可能にする。EarthNet2021 データを拡張し、4つの天候誘導モデルを用いて、大陸規模の植生予測で最先端の性能を達成。

ABSTRACT

The innovative application of precise geospatial vegetation forecasting holds immense potential across diverse sectors, including agriculture, forestry, humanitarian aid, and carbon accounting. To leverage the vast availability of satellite imagery for this task, various works have applied deep neural networks for predicting multispectral images in photorealistic quality. However, the important area of vegetation dynamics has not been thoroughly explored. Our study breaks new ground by introducing GreenEarthNet, the first dataset specifically designed for high-resolution vegetation forecasting, and Contextformer, a novel deep learning approach for predicting vegetation greenness from Sentinel 2 satellite images with fine resolution across Europe. Our multi-modal transformer model Contextformer leverages spatial context through a vision backbone and predicts the temporal dynamics on local context patches incorporating meteorological time series in a parameter-efficient manner. The GreenEarthNet dataset features a learned cloud mask and an appropriate evaluation scheme for vegetation modeling. It also maintains compatibility with the existing satellite imagery forecasting dataset EarthNet2021, enabling cross-dataset model comparisons. Our extensive qualitative and quantitative analyses reveal that our methods outperform a broad range of baseline techniques. This includes surpassing previous state-of-the-art models on EarthNet2021, as well as adapted models from time series forecasting and video prediction. To the best of our knowledge, this work presents the first models for continental-scale vegetation modeling at fine resolution able to capture anomalies beyond the seasonal cycle, thereby paving the way for predicting vegetation health and behaviour in response to climate variability and extremes.

研究の動機と目的

• 評価の改善と雲マスクの改善を含む、植生モデリングのための EarthNet2021 の拡張。
• ヨーロッパ全体で20m解像度のNDVI予測のための、天候条件付け・マルチモデル深層学習アプローチを開発。
• 天候誘導モデルを、非ML手法を含む強力なベースラインおよび EarthNet2021 のリーダーと比較。
• 炭素モニタリングのための総一次生産量推定への下流適用性を示す。

提案手法

• 過去の画像、将来の天気、標高を条件に深層ニューラルネットワークを用いて将来のNDVIを予測。
• メテオ条件付きの4つの天候誘導モデルクラスを評価：ConvLSTM、PredRNN、SimVP、Earthformer。
• 学習済み雲マスクと新しい時空OOD評価スキームを組み込み、植生予測を頑健に評価。
• 雲マスクと土地被覆マスクを用いたガウス尤度目的関数を使い、20m NDVI 目標でモデルを訓練。

Figure 1 : In this work, future vegetation status $\hat{V}$ is predicted with deep learning models $f$ from past satellite imagery $X$ , past and future weather $C$ and elevation $E$ . The underlying dataset spans across Europe with minicubes split into train (red dots), temporal OOD test (ood-t, or

実験結果

リサーチクエスチョン

• RQ1 過去の Sentinel-2 画像と天気データから20m解像度の大陸規模の植生ダイナミクスを予測できるか？
• RQ2 天候条件付けが最新のビデオ予測モデルの植生予測能力にどのように影響するか？
• RQ3 時系列・空間的に分布外（OOD） settings でNDVIを最も正確に予測するモデルクラスと天候条件付け戦略はどれか？
• RQ4 予測された植生ダイナミクスの炭素モニタリング（総一次生産）への下流的有用性は何か？

主な発見

Model	R^2↑	RMSE↓	NSE↑	|bias|↓	Outperform↑	RMSE 25 days↓	#Params
Persistence	0.00	0.23	-1.28	0.17	21.8%	0.09	0
Previous year	0.56	0.20	-0.40	0.14	19.3%	0.18	0
Climatology	0.58	0.18	-0.34	0.13	0.0%	0.16	0
Kalman filter	0.41	0.19	-0.57	0.13	27.0%	0.16	O(10)
LightGBM	0.51	0.17	-0.22	0.12	42.2%	0.11	n.a.
Prophet	0.57	0.16	-0.05	0.11	60.6%	0.13	O(10)
EN21 ConvLSTM	0.51	0.18	-0.37	0.12	43.9%	0.12	0.2M
SG-ConvLSTM	0.53	0.19	-0.33	0.14	45.8%	0.11	0.7M
Earthformer	0.49	0.17	-0.27	0.12	47.2%	0.11	60.6M
ConvLSTM-meteo	0.62 ± 0.01	0.14 ± 0.00	0.11 ± 0.03	0.10 ± 0.00	68.2% ± 1.8%	0.10 ± 0.00	1.0M
PredRNN-meteo	0.62 ± 0.00	0.15 ± 0.00	0.03 ± 0.00	0.10 ± 0.00	64.7% ± 1.2%	0.10 ± 0.00	1.4M
SimVP-meteo	0.60 ± 0.00	0.15 ± 0.00	0.03 ±0.01	0.09 ± 0.00	64.1% ± 1.0%	0.10 ± 0.00	6.6M
Earthformer-meteo	0.52	0.16	-0.13	0.10	56.5%	0.09	60.6M

• 天候誘導モデルは、ヨーロッパ全域の20mNDVI予測の複数の指標でベースラインを上回る。
• ConvLSTM-meteo、PredRNN-meteo、SimVP-meteo は Earthformer-meteo および非MLベースラインより R^2、RMSE、NSE、bias で高い能力を達成。
• FiLM またはクロスアテンション条件付けを用いた将来天気の組み込みは顕著な性能向上をもたらし、潜在的な融合戦略を採用した手法もある。
• 4モデルはいずれも時系列および空間的分布外テスト（OOD-t、OOD-st）で頑健な予測能力を示す。
• NDVI予測は炭素モニタリングの総一次生産量の下流推定を可能にする。

Figure 2 : Simplified view of evaluated models. Baselines (a,b), weather-guided deep learning (c,d,e,f).