[論文レビュー] MMST-ViT: Climate Change-aware Crop Yield Prediction via Multi-Modal Spatial-Temporal Vision Transformer

Fudong Lin, Summer Crawford+15 more|arXiv (Cornell University)|Sep 16, 2023

Remote Sensing in Agriculture被引用数 4

ひとこと要約

本論文では、米国におけるカントリー単位の作物収量予測を、短期的な天候変動と長期的な気候変動の両方を考慮して行う、ビジョントランスフォーマーに基づくMMST-ViTを提案する。マルチモーダルな対照的学習による事前学習戦略と、特化した空間的・時間的注意メカニズムを組み合わせることで、最先端の性能を達成している。

ABSTRACT

Precise crop yield prediction provides valuable information for agricultural planning and decision-making processes. However, timely predicting crop yields remains challenging as crop growth is sensitive to growing season weather variation and climate change. In this work, we develop a deep learning-based solution, namely Multi-Modal Spatial-Temporal Vision Transformer (MMST-ViT), for predicting crop yields at the county level across the United States, by considering the effects of short-term meteorological variations during the growing season and the long-term climate change on crops. Specifically, our MMST-ViT consists of a Multi-Modal Transformer, a Spatial Transformer, and a Temporal Transformer. The Multi-Modal Transformer leverages both visual remote sensing data and short-term meteorological data for modeling the effect of growing season weather variations on crop growth. The Spatial Transformer learns the high-resolution spatial dependency among counties for accurate agricultural tracking. The Temporal Transformer captures the long-range temporal dependency for learning the impact of long-term climate change on crops. Meanwhile, we also devise a novel multi-modal contrastive learning technique to pre-train our model without extensive human supervision. Hence, our MMST-ViT captures the impacts of both short-term weather variations and long-term climate change on crops by leveraging both satellite images and meteorological data. We have conducted extensive experiments on over 200 counties in the United States, with the experimental results exhibiting that our MMST-ViT outperforms its counterparts under three performance metrics of interest.

研究の動機と目的

• 変動する天候と長期的な気候変動の下での正確なカントリー単位の作物収量予測の課題に対処すること。
• リモートセンシングデータまたは気象データのいずれかに焦点を当てているが、両方を統合しない既存のモデルの限界を克服すること。
• 作物収量に及ぼす短期的な天候の影響と長期的な気候トレンドを両方とも捉えることができるディープラーニングフレームワークの開発。
• 人為的ラベルに依存しない自発的学習を可能にするために、マルチモーダルデータを用いた事前学習を可能にすること。
• 県間の空間的依存関係と、歴史的気象データの時間的依存関係を統合することで、予測精度の向上を図ること。

提案手法

• マルチモーダル、空間的、時間的の3つの専用アテンションヘッドを備えた、マルチモーダル空間的・時間的ビジョントランスフォーマー（MMST-ViT）を提案。
• 成長期中のセントネル-2衛星画像とHRRR気象データを同時に処理できる、マルチモーダルトランスフォーマーにおけるマルチヘッドアテンション（MHA）を採用。
• 隣接する県間の高分解能空間的依存関係をモデル化するため、MHAを用いた空間トランスフォーマーを活用。
• 気候変動の影響をモデル化するため、歴史的気象データの長距離時間的依存関係を捉えるために、MHAを用いた時間トランスフォーマーを適用。
• 人為的ラベルなしで、視覚的および気象的データの両方を活用する、画期的なマルチモーダル対照的学習による事前学習手法を導入。
• アブレーションスタディにおいて、アテンションに基づくグローバル表現学習の必要性を評価するため、平均プーリングをベースラインとして適用。

実験結果

リサーチクエスチョン

• RQ1 ビジョントランスフォーマーに基づくモデルは、マルチモーダルなリモートセンシングデータと気象データを効果的に統合して作物収量を予測できるか？
• RQ2 短期的な天候データに加えて、長期的な歴史的気象データを含めることで、作物収量予測の精度はどの程度向上するか？
• RQ3 県間の空間的依存関係は、カントリー単位の予測性能にどの程度寄与するか？
• RQ4 マルチモーダルな自己教師付き事前学習は、データが少ない状況下でのモデル一般化性能を顕著に向上させ、過学習を低減するか？
• RQ5 個々のモジュール（マルチモーダル、空間的、時間的トランスフォーマー）は、全体の予測性能にどの程度寄与しているか？

主な発見

• MMST-ViTは、トウモロコシの相関係数（Corr）が0.900、大豆のCorrが0.918を達成し、事前学習なしのモデル（Corr：0.857と0.875）やSimCLRで事前学習したモデル（Corr：0.857と0.876）を著しく上回っている。
• 時間トランスフォーマーを削除すると、トウモロコシでCorrが0.080、大豆で0.069低下し、長期的気候変動の影響をモデル化する上でその重要性が明確に示された。
• 短期的な気象データをマスキングすると、大豆のCorrが0.096低下し、作物生育モデルにおけるリアルタイム天候データの重要性が強調された。
• マルチモーダル対照的事前学習により、事前学習なしの学習と比較して、RMSEがトウモロコシで2.7、大豆で1.2減少し、強力な一般化効果が裏付けられた。
• マルチモーダルトランスフォーマーをマスキング（無効化）すると、大豆のCorrが0.073低下し、画像と天候データの共同モデリングが不可欠であることが確認された。
• SimCLRによる事前学習では、大豆のCorrがたった0.001しか向上しなかったため、単一モダリティの手法に比べ、マルチモーダルな事前学習アプローチの必要性が強く示された。