[论文解读] Convolutional LSTMs for Cloud-Robust Segmentation of Remote Sensing Imagery

Marc Rußwurm, Marco Körner|arXiv (Cornell University)|Oct 28, 2018

Remote Sensing in Agriculture参考文献 10被引用 31

一句话总结

本文提出使用卷积长短期记忆（ConvLSTM）网络在无需显式云遮罩的情况下实现遥感图像中对云的鲁棒语义分割。通过将云覆盖视为固有噪声，模型利用内部门控机制学习抑制受云影响的特征，在严重多云序列上仍能达到最先进精度，表明在遥感多时相深度学习中，复杂的预处理流程可能并非必要。

ABSTRACT

Clouds frequently cover the Earth's surface and pose an omnipresent challenge to optical Earth observation methods. The vast majority of remote sensing approaches either selectively choose single cloud-free observations or employ a pre-classification strategy to identify and mask cloudy pixels. We follow a different strategy and treat cloud coverage as noise that is inherent to the observed satellite data. In prior work, we directly employed a straightforward \emph{convolutional long short-term memory} network for vegetation classification without explicit cloud filtering and achieved state-of-the-art classification accuracies. In this work, we investigate this cloud-robustness further by visualizing internal cell activations and performing an ablation experiment on datasets of different cloud coverage. In the visualizations of network states, we identified some cells in which modulation and input gates closed on cloudy pixels. This indicates that the network has internalized a cloud-filtering mechanism without being specifically trained on cloud labels. Overall, our results question the necessity of sophisticated pre-processing pipelines for multi-temporal deep learning approaches.

研究动机与目标

• 探究深度学习模型是否能内在地处理多时相遥感图像中的云噪声，而无需显式云遮罩。
• 评估ConvLSTM网络在不同云覆盖程度的卫星图像序列中的鲁棒性。
• 确定在光学地球观测中进行准确语义分割是否需要对云进行预分类。
• 可视化并分析内部LSTM单元状态，以理解网络如何学习过滤云相关噪声。
• 挑战既有的假设，即复杂的预处理流程对于实现云鲁棒遥感分割是必不可少的。

提出的方法

• 采用两阶段ConvLSTM架构，其中输入图像序列通过LSTM编码器逐时序处理，以提取时空特征。
• 网络使用标准LSTM组件：遗忘门、输入门和输出门，并在空间和时间维度上应用卷积操作。
• 在最终时间步的内部单元状态张量 $\boldsymbol{c}_T$ 捕获来自序列的长期、与分类相关的特征。
• 通过一个最终的卷积层将特征维度降低到语义类别的数量，从而实现像素级分割。
• 模型在包含多云和无云观测的原始、未经滤波的图像序列上进行端到端训练。
• 在子采样数据集上进行消融实验，云覆盖比例分别为0%、10%、25%、50%和100%，以评估鲁棒性。

实验结果

研究问题

• RQ1 ConvLSTM网络是否能在无需显式云遮罩或预处理的情况下，对遥感图像实现高精度语义分割？
• RQ2 内部LSTM门是否能自动抑制受云影响的特征，即使没有云特定标签？
• RQ3 当在不同云覆盖水平的数据集上训练时，性能如何变化，包括完全无云和完全多云的序列？
• RQ4 是否存在序列长度与云覆盖之间的权衡，从而影响模型精度？
• RQ5 模型是否能在多种云条件下良好泛化，表明其对时间噪声具有内在鲁棒性？

主要发现

• 该模型在无需任何显式云过滤或预处理的情况下，实现了植被分割的最先进分类精度。
• 对内部LSTM状态的可视化显示，输入门和调制门主动抑制了受云影响的像素，表明存在内部云过滤行为。
• 在特定时间步，云像素处的遗忘门和输入门值趋近于零，表明对噪声输入的有选择性抑制。
• 该网络在不同云覆盖水平的数据集上均保持一致的性能，包括100%云覆盖的数据集。
• 在完全无云序列上的性能略差，表明部分无云观测可能遗漏关键物候事件。
• 结果挑战了手工设计预处理流程的必要性，表明使用ConvLSTM进行端到端训练可内在地处理云噪声。