[论文解读] MMST-ViT: Climate Change-aware Crop Yield Prediction via Multi-Modal Spatial-Temporal Vision Transformer

Fudong Lin, Summer Crawford+15 more|arXiv (Cornell University)|Sep 16, 2023

Remote Sensing in Agriculture被引用 4

一句话总结

该论文提出MMST-ViT，一种基于视觉Transformer的模型，整合多模态遥感与气象数据，以预测美国县一级的作物产量，同时考虑短期天气变化与长期气候变化。通过新颖的多模态对比学习预训练策略以及专用的时空注意力机制，该模型实现了最先进性能。

ABSTRACT

Precise crop yield prediction provides valuable information for agricultural planning and decision-making processes. However, timely predicting crop yields remains challenging as crop growth is sensitive to growing season weather variation and climate change. In this work, we develop a deep learning-based solution, namely Multi-Modal Spatial-Temporal Vision Transformer (MMST-ViT), for predicting crop yields at the county level across the United States, by considering the effects of short-term meteorological variations during the growing season and the long-term climate change on crops. Specifically, our MMST-ViT consists of a Multi-Modal Transformer, a Spatial Transformer, and a Temporal Transformer. The Multi-Modal Transformer leverages both visual remote sensing data and short-term meteorological data for modeling the effect of growing season weather variations on crop growth. The Spatial Transformer learns the high-resolution spatial dependency among counties for accurate agricultural tracking. The Temporal Transformer captures the long-range temporal dependency for learning the impact of long-term climate change on crops. Meanwhile, we also devise a novel multi-modal contrastive learning technique to pre-train our model without extensive human supervision. Hence, our MMST-ViT captures the impacts of both short-term weather variations and long-term climate change on crops by leveraging both satellite images and meteorological data. We have conducted extensive experiments on over 200 counties in the United States, with the experimental results exhibiting that our MMST-ViT outperforms its counterparts under three performance metrics of interest.

研究动机与目标

• 解决在动态天气与长期气候变化背景下，实现精准县一级作物产量预测的挑战。
• 克服现有模型仅关注遥感或气象数据之一，而未同时整合两者的局限性。
• 开发一种深度学习框架，以捕捉短期天气影响与长期气候趋势对作物产量的影响。
• 通过多模态数据实现自监督预训练，减少对人工标注标签的依赖。
• 通过整合县之间的空间依赖关系与历史气候数据的时间依赖关系，提升预测准确性。

提出的方法

• 提出一种多模态时空视觉Transformer（MMST-ViT），包含三种专用注意力头：多模态、空间与时间注意力。
• 在多模态Transformer中使用多头注意力（MHA），在生长季节联合处理Sentinel-2卫星影像与HRRR气象数据。
• 通过空间Transformer与MHA建模相邻县之间的高分辨率空间依赖关系，实现精准农业追踪。
• 利用时间Transformer与MHA捕捉历史气象数据中的长程时间依赖关系，用于气候变化影响建模。
• 提出一种新颖的多模态对比学习预训练技术，无需人工标注即可利用视觉与气象数据。
• 在消融研究中，将平均池化作为基线，以评估注意力机制全局表征学习的必要性。

实验结果

研究问题

• RQ1 基于视觉Transformer的模型能否有效整合多模态遥感与气象数据，以实现作物产量预测？
• RQ2 与仅使用短期天气数据相比，引入长期历史气候数据在多大程度上提升了作物产量预测的准确性？
• RQ3 县之间的空间依赖关系在多大程度上提升了县一级的预测性能？
• RQ4 多模态自监督预训练是否显著提升了低数据场景下的模型泛化能力并减少过拟合？
• RQ5 各独立组件（多模态、空间、时间Transformer）对整体预测性能的贡献如何？

主要发现

• MMST-ViT在玉米上的相关系数（Corr）达到0.900，在大豆上的相关系数达到0.918，显著优于无预训练模型（Corr：0.857 和 0.875）以及使用SimCLR预训练的模型（Corr：0.857 和 0.876）。
• 移除时间Transformer后，玉米的相关系数下降0.080，大豆下降0.069，表明其在建模长期气候变化影响方面具有关键作用。
• 遮蔽短期气象数据导致大豆相关系数下降0.096，凸显实时天气数据在作物生长建模中的重要性。
• 与无预训练训练相比，模型的多模态对比预训练使RMSE降低2.7（玉米）与1.2（大豆），表明其具有强大的泛化优势。
• 通过遮蔽多模态Transformer（即移除其功能）导致大豆相关系数下降0.073，证实了图像与天气数据联合建模的必要性。
• 使用SimCLR进行预训练仅使大豆相关系数提升0.001，凸显相较于单模态方法，多模态预训练方法的必要性。