[论文解读] Early Classification for Agricultural Monitoring from Satellite Time Series

Marc Rußwurm, Romain Tavenard+2 more|arXiv (Cornell University)|Aug 27, 2019

Remote Sensing in Agriculture参考文献 17被引用 16

一句话总结

本文提出了一种用于基于卫星的农业监测的端到端可训练早期分类机制，该机制基于观测到的光谱信号动态决定何时停止处理时间序列数据。该方法使用具有可学习停止概率的循环神经网络，该概率源自隐藏表示，能够在植被周期结束前实现准确的作物类型分类——停止时间与播种和收获等物候事件相关。

ABSTRACT

In this work, we introduce a recently developed early classification mechanism to satellite-based agricultural monitoring. It augments existing classification models by an additional stopping probability based on the previously seen information. This mechanism is end-to-end trainable and derives its stopping decision solely from the observed satellite data. We show results on field parcels in central Europe where sufficient ground truth data is available for an empiric evaluation of the results with local phenological information obtained from authorities. We observe that the recurrent neural network outfitted with this early classification mechanism was able to distinguish the many of the crop types before the end of the vegetative period. Further, we associated these stopping times with evaluated ground truth information and saw that the times of classification were related to characteristic events of the observed plants' phenology.

研究动机与目标

• 在不依赖特定区域专家知识的前提下，实现从卫星时间序列中早期且准确的作物类型分类。
• 开发一种可训练的停止机制，以决定何时已获取足够信息以实现自信分类。
• 评估停止时间是否与播种和收获等真实世界物候事件相关。
• 证明在中欧地区植被季节结束前，实现早期分类在技术和准确度上均是可行的。

提出的方法

• 该模型使用循环神经网络处理顺序的Sentinel-2卫星数据，在每个时间步提取隐藏表示。
• 分类头在每个时间 t 生成类别概率 ŷt，而独立的停止头输出停止概率 pt。
• 停止概率 pt 被建模为对隐藏状态 ht 应用轻量级网络后的Sigmoid函数输出。
• 提出一种新颖的早期奖励损失函数，通过超参数 α 平衡准确率与提前度，联合优化分类准确率与停止时间。
• 停止时间 tstop 从停止概率分布 pt 中采样，从而在推理过程中实现随机推理。
• 模型在带有真实标签和当地权威机构提供的物候注释的田地块数据上进行端到端训练。

实验结果

研究问题

• RQ1 深度学习模型能否仅基于观测数据自动确定从卫星时间序列中分类作物类型的最佳时间？
• RQ2 模型的停止时间是否与物候学上有意义的事件（如营养生长期开始或收获）相关？
• RQ3 在不同作物类型中，分类准确率与提前度之间的权衡如何影响模型性能？
• RQ4 停止机制能否在无需事先了解作物物候或生长季节的情况下实现端到端训练？

主要发现

• 该模型在不同超参数 α 值下均表现出稳定的分类准确率，表明早期奖励损失函数具有鲁棒性。
• 对于大多数作物类型，包括玉米、冬小麦和大麦，分类均在植被周期结束前完成。
• 大麦和草地的中位停止时间早于玉米和冬小麦，反映出其物候发育的差异。
• 每种作物类型的停止时间分布均具有独特性，并与实际物候事件（如营养生长期和收获日期）相关。
• 对于生长缓慢或更不稳定的作物（如冬小麦），停止机制学会了延迟分类。
• 模型的停止决策不依赖于外部物候知识，其与真实世界事件的相关性完全源于卫星数据。