[论文解读] A systematic review of the use of Deep Learning in Satellite Imagery for Agriculture

Brandon Victor, Zhen He+1 more|arXiv (Cornell University)|Oct 3, 2022

Smart Agriculture and AI被引用 9

一句话总结

本篇系统性综述分析了193项关于农业领域卫星遥感图像中深度学习应用的研究，发现卷积神经网络（CNNs）在作物分割和产量预测等任务中始终优于传统机器学习方法。尽管应用日益广泛，但该领域仍缺乏基准数据集，尤其是在土壤健康、植物生理学和作物损伤方面，限制了研究的可复现性与方法对比。

ABSTRACT

Agricultural research is essential for increasing food production to meet the requirements of an increasing population in the coming decades. Recently, satellite technology has been improving rapidly and deep learning has seen much success in generic computer vision tasks and many application areas which presents an important opportunity to improve analysis of agricultural land. Here we present a systematic review of 150 studies to find the current uses of deep learning on satellite imagery for agricultural research. Although we identify 5 categories of agricultural monitoring tasks, the majority of the research interest is in crop segmentation and yield prediction. We found that, when used, modern deep learning methods consistently outperformed traditional machine learning across most tasks; the only exception was that Long Short-Term Memory (LSTM) Recurrent Neural Networks did not consistently outperform Random Forests (RF) for yield prediction. The reviewed studies have largely adopted methodologies from generic computer vision, except for one major omission: benchmark datasets are not utilised to evaluate models across studies, making it difficult to compare results. Additionally, some studies have specifically utilised the extra spectral resolution available in satellite imagery, but other divergent properties of satellite images - such as the hugely different scales of spatial patterns - are not being taken advantage of in the reviewed studies.

研究动机与目标

• 识别并分类深度学习在农业背景下应用于卫星遥感图像的方式。
• 比较深度学习模型（如CNNs、LSTMs、Transformers）与传统机器学习方法在农业任务中的性能表现。
• 评估当前基于卫星遥感图像的农业深度学习研究在基准测试、数据可及性及可复现性方面的现状。
• 突出现有研究中对卫星数据特征（如光谱分辨率、时间连续性、地理定位）的未充分利用情况。
• 提出未来研究方向，特别是为代表性不足的农业任务开发公开基准数据集。

提出的方法

• 使用Web of Science对深度学习、卫星遥感图像和农业三个领域进行预定义关键词的系统性文献检索。
• 在深度学习、卫星遥感图像与农业应用的交叉领域中识别出193项研究。
• 制定应用于卫星遥感图像的深度学习方法分类体系，区分空间、光谱和时间建模方法。
• 将农业任务划分为土地利用/土地覆盖（LULC）、作物分割、产量预测以及土壤/植物健康监测等类别。
• 分析模型架构使用趋势（如CNNs、LSTMs、视觉Transformer）及其在各类任务中的性能比较。
• 评估多源数据（如Sentinel-1和Sentinel-2）的使用情况，以及地理空间与光谱信息在模型设计中的整合程度。

实验结果

研究问题

• RQ1 深度学习模型（尤其是CNNs和Transformers）在农业任务的卫星遥感图像中如何被应用？
• RQ2 现代深度学习模型在农业卫星图像分析中的表现与传统机器学习方法（如SVM、随机森林）相比如何？
• RQ3 当前研究在多大程度上使用了公开基准数据集？这对可复现性与方法比较有何影响？
• RQ4 在当前的深度学习应用中，卫星遥感图像的哪些特征（如光谱分辨率、时间连续性或地理定位）被未充分利用？
• RQ5 在将深度学习应用于农业卫星遥感图像方面，存在哪些关键研究空白与未来方向？

主要发现

• 卷积神经网络（CNNs）在所有农业任务中（包括作物分割和产量预测）始终优于SVM、随机森林和MLP等传统机器学习方法。
• 长短期记忆（LSTM）模型在产量预测等任务中并未表现出相对于传统方法的一致性性能提升。
• 视觉Transformer（ViT）和定制的注意力机制模型在少数研究中被使用，且未表现出相对于CNNs的一致性优势，可能由于训练数据不足。
• 仅有作物分割和县级尺度的产量预测拥有适合构建基准数据集的公开国家级数据源，且作物分割是唯一拥有现有基准数据集的任务。
• 尽管高分辨率、多光谱和时间连续的卫星数据广泛可用，但大多数研究仍仅停留在基础像素级分析，未能充分利用光谱、时间或地理空间特征。
• 各研究之间缺乏直接的方法对比，尤其是在土壤健康、植物生理学和作物损伤方面，表明亟需建立标准化的评估框架。