[논문 리뷰] MMST-ViT: Climate Change-aware Crop Yield Prediction via Multi-Modal Spatial-Temporal Vision Transformer

Fudong Lin, Summer Crawford외 15명|arXiv (Cornell University)|2023. 09. 16.

Remote Sensing in Agriculture인용 수 4

한 줄 요약

이 논문은 미국의 카운티 수준에서 작물 수확량을 예측하기 위해 다중 모달 원격 감시 및 기상 데이터를 통합한 비전 트랜스포머 기반 모델인 MMST-ViT를 제안한다. 이는 단기 기상 변동과 장기 기후 변화를 모두 고려한다. 새로운 다중 모달 대비 학습 사전 훈련 전략과 전용 공간-시간 주의 메커니즘을 통해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Precise crop yield prediction provides valuable information for agricultural planning and decision-making processes. However, timely predicting crop yields remains challenging as crop growth is sensitive to growing season weather variation and climate change. In this work, we develop a deep learning-based solution, namely Multi-Modal Spatial-Temporal Vision Transformer (MMST-ViT), for predicting crop yields at the county level across the United States, by considering the effects of short-term meteorological variations during the growing season and the long-term climate change on crops. Specifically, our MMST-ViT consists of a Multi-Modal Transformer, a Spatial Transformer, and a Temporal Transformer. The Multi-Modal Transformer leverages both visual remote sensing data and short-term meteorological data for modeling the effect of growing season weather variations on crop growth. The Spatial Transformer learns the high-resolution spatial dependency among counties for accurate agricultural tracking. The Temporal Transformer captures the long-range temporal dependency for learning the impact of long-term climate change on crops. Meanwhile, we also devise a novel multi-modal contrastive learning technique to pre-train our model without extensive human supervision. Hence, our MMST-ViT captures the impacts of both short-term weather variations and long-term climate change on crops by leveraging both satellite images and meteorological data. We have conducted extensive experiments on over 200 counties in the United States, with the experimental results exhibiting that our MMST-ViT outperforms its counterparts under three performance metrics of interest.

연구 동기 및 목표

• 변동성이 큰 기상 조건과 장기 기후 변화 하에서 정확한 카운티 수준의 작물 수확량 예측 문제를 해결한다.
• 기존 모델이 원격 감시 데이터나 기상 데이터 중 하나에만 집중하는 한계를 극복한다.
• 단기 기상 영향과 장기 기후 추세가 작물 수확량에 미치는 영향을 모두 포착하는 딥 러닝 프레임워크를 개발한다.
• 인간이 레이블링한 데이터에 의존도를 줄이기 위해 다중 모달 데이터를 이용한 자기지도 사전 훈련을 가능하게 한다.
• 과거 기후 데이터의 시간적 의존성과 카운티 간 공간적 의존성을 통합하여 예측 정확도를 향상시킨다.

제안 방법

• 다중 모달, 공간, 시간 주의 메커니즘을 갖춘 세 가지 전용 주의 헤드를 가진 다중 모달 공간-시간 비전 트랜스포머(MMST-ViT)를 제안한다.
• growing season 동안 세턴델-2 위성 영상과 HRRR 기상 데이터를 함께 처리하기 위해 다중 모달 트랜스포머에서 다중 헤드 주의(MHA)를 활용한다.
• 이웃한 카운티 간 고해상도 공간적 의존성을 모델링하기 위해 MHA를 사용한 공간 트랜스포머를 활용한다.
• 기후 변화 영향 모델링을 위해 과거 기상 데이터의 장거리 시간적 의존성을 포착하기 위해 MHA를 사용한 시간 트랜스포머를 활용한다.
• 인간의 레이블링 없이도 시각적 및 기상 데이터를 모두 활용하는 새로운 다중 모달 대비 학습 사전 훈련 기법을 도입한다.
• 다양한 성능 분석에서 주의 기반의 전역 표현 학습의 필요성을 평가하기 위해 평균 풀링을 기준으로 비교한다.

실험 결과

연구 질문

• RQ1 비전 트랜스포머 기반 모델이 다중 모달 원격 감시 및 기상 데이터를 효과적으로 통합하여 작물 수확량을 예측할 수 있는가?
• RQ2 단기 기상 데이터 외에 장기 역사적 기후 데이터를 포함할 경우, 예측 정확도는 어떻게 향상되는가?
• RQ3 카운티 간 공간적 의존성은 카운티 수준의 예측 성능을 어느 정도 향상시키는가?
• RQ4 다중 모달 자기지도 사전 훈련은 데이터가 적은 환경에서 모델 일반화 능력 향상과 과적합 방지에 실제로 기여하는가?
• RQ5 각 개별 구성 요소(Multi-Modal, Spatial, Temporal 트랜스포머)는 전체 예측 성능에 어떻게 기여하는가?

주요 결과

• MMST-ViT는 옥수수의 상관계수(Corr)가 0.900, 콩의 상관계수(Corr)가 0.918로, 사전 훈련이 없는 모델(Corr: 0.857 및 0.875)과 SimCLR로 사전 훈련한 모델(Corr: 0.857 및 0.876)보다 유의미하게 뛰어나다.
• 시간 트랜스포머를 제거하면 옥수수의 상관계수(Corr)가 0.080 감소하고 콩의 경우 0.069 감소하여 장기 기후 변화 영향을 모델링하는 데서의 핵심적 역할을 확인한다.
• 단기 기상 데이터를 마스킹하면 콩의 상관계수(Corr)가 0.096 감소하여 실시간 기상 데이터가 작물 생장 모델링에서 중요함을 입증한다.
• 모델의 다중 모달 대비 사전 훈련은 사전 훈련 없이 훈련한 경우 대비 옥수수의 RMSE를 2.7, 콩의 경우 1.2 감소시켜 강력한 일반화 이점을 보여준다.
• 다중 모달 트랜스포머를 마스킹(비활성화)하면 콩의 상관계수(Corr)가 0.073 감소하여 영상과 기상 데이터를 함께 모델링하는 것이 필수적임을 확인한다.
• SimCLR로 사전 훈련하면 콩의 상관계수(Corr)가 단지 0.001 향상되므로 단일 모달 방법에 비해 다중 모달 사전 훈련 접근법의 필수성을 강조한다.