[论文解读] End-to-End Learned Early Classification of Time Series for In-Season Crop Type Mapping

Marc Rußwurm, Nicolas Courty+4 more|arXiv (Cornell University)|Jan 30, 2019

Time Series Analysis and Forecasting参考文献 10被引用 27

一句话总结

本文提出ELECTS，一种端到端深度学习框架，通过联合优化早期和准确的时间序列分类，实现作物类型制图。通过在标准时间序列分类器上增加一个停止预测头，并使用平衡损失进行训练，ELECTS在保持欧洲和非洲数据集最先进准确率的同时，将数据需求减少了高达60%。

ABSTRACT

Remote sensing satellites capture the cyclic dynamics of our Planet in regular time intervals recorded in satellite time series data. End-to-end trained deep learning models use this time series data to make predictions at a large scale, for instance, to produce up-to-date crop cover maps. Most time series classification approaches focus on the accuracy of predictions. However, the earliness of the prediction is also of great importance since coming to an early decision can make a crucial difference in time-sensitive applications. In this work, we present an End-to-End Learned Early Classification of Time Series (ELECTS) model that estimates a classification score and a probability of whether sufficient data has been observed to come to an early and still accurate decision. ELECTS is modular: any deep time series classification model can adopt the ELECTS conceptual idea by adding a second prediction head that outputs a probability of stopping the classification. The ELECTS loss function then optimizes the overall model on a balanced objective of earliness and accuracy. Our experiments on four crop classification datasets from Europe and Africa show that ELECTS allows reaching state-of-the-art accuracy while reducing the quantity of data massively to be downloaded, stored, and processed. The source code is available at https://github.com/marccoru/elects.

研究动机与目标

• 解决遥感中针对生长期作物类型制图的早期时间序列分类缺乏端到端优化的问题。
• 克服增量分类方法的局限性，后者需要在子序列上重新训练且计算成本高昂。
• 开发一种统一框架，在不依赖手工设计启发式规则或区域特定假设的前提下，平衡早期性和准确性。
• 利用最少的卫星数据，实现高效、可扩展且可部署的大型农业监测早期分类。
• 在多样化的地理和数据规模条件下实现泛化，包括欧洲和非洲的小型与大型数据集。

提出的方法

• 在标准深度时间序列分类模型（如LSTM、Transformer或CNN）上增加第二个预测头，输出停止概率。
• 使用复合损失函数进行模型训练，平衡分类准确率与早期性，当置信度高时鼓励提前停止。
• 使用可变长度输入序列生成固定大小嵌入，避免如增量分类中对子序列重新训练的需求。
• 通过反向传播优化联合目标，使模型能够学习何时已获取足够物候信息以实现可靠预测。
• 将该框架应用于具有不同标签分布和数据规模的多种作物类型数据集，确保在不同区域的鲁棒性。
• 支持在CPU上部署，推理成本极低，使其在资源受限环境中的实际应用成为可能。

实验结果

研究问题

• RQ1 是否可以训练一个端到端深度学习模型，在不重新训练子序列的前提下，实现生长期早期的准确作物类型预测？
• RQ2 所提出的ELECTS框架在多样化数据集上如何平衡预测早期性与分类准确率之间的权衡？
• RQ3 ELECTS在保持高准确率的前提下，能在多大程度上减少数据量（例如卫星图像数量）？
• RQ4 模型的早期停止决策是否与作物发育的实际物候事件相关？
• RQ5 与仅关注准确率的模型相比，ELECTS在小样本数据集（标注样本有限）上的表现如何？

主要发现

• ELECTS在欧洲和非洲的四个作物类型数据集上实现了最先进分类准确率，同时将平均数据需求减少了40%至60%。
• 在大型BavarianCrops数据集上，ELECTS-LSTM的准确率与仅关注准确率的模型相当，但仅使用了完整时间序列长度的40%。
• 在南苏丹和加纳，由于数据集较小，ELECTS-LSTM的表现略逊于仅关注准确率的模型，表明其对数据量存在依赖性。
• 模型的早期停止决策与关键物候事件（如返青和衰老）高度一致，表明具有生物学可解释性。
• 在将框架扩展至Sentinel-2数据时，ELECTS将欧洲年度作物制图所需的数据总量减少了高达26TB，避免了不必要的下载与处理。
• 在单张GPU上训练ELECTS-LSTM模型耗时不足一小时，且推理可在标准笔记本电脑的CPU上完成，支持实际部署。