[论文解读] Combining Sentinel-1 and Sentinel-2 Time Series via RNN for object-based land cover classification

Dino Ienco, Raffaele Gaetano+3 more|arXiv (Cornell University)|Dec 13, 2018

Remote-Sensing Image Classification参考文献 10被引用 23

一句话总结

本文提出 OD2RNN，一种深度学习架构，通过在目标层面融合多时相的哨兵-1（雷达）和哨兵-2（光学）卫星影像时序数据，实现土地覆盖分类。通过使用两条并行的 RNN 流来建模时间动态，并在分类前拼接特征，OD2RNN 在留尼汪岛实现了 89.59% 的准确率，显著优于随机森林基线模型，并在作物种植和阴影影响区域等具有挑战性的类别上表现出更优的泛化能力。

ABSTRACT

Radar and Optical Satellite Image Time Series (SITS) are sources of information that are commonly employed to monitor earth surfaces for tasks related to ecology, agriculture, mobility, land management planning and land cover monitoring. Many studies have been conducted using one of the two sources, but how to smartly combine the complementary information provided by radar and optical SITS is still an open challenge. In this context, we propose a new neural architecture for the combination of Sentinel-1 (S1) and Sentinel-2 (S2) imagery at object level, applied to a real-world land cover classification task. Experiments carried out on the Reunion Island, a overseas department of France in the Indian Ocean, demonstrate the significance of our proposal.

研究动机与目标

• 为有效融合互补的雷达（哨兵-1）和光学（哨兵-2）卫星时序数据以实现土地覆盖分类，解决开放性挑战。
• 通过利用基于目标的分析方法，降低数据维度并提升特征代表性，从而提高分类准确率和鲁棒性。
• 开发一种深度学习模型，智能地在目标层面整合多源、多时相数据，克服像素级方法和单传感器方法的局限性。
• 在留尼汪岛的真实世界数据集上评估所提出的方法，该地区为复杂热带环境，频繁出现云层覆盖且土地覆盖类型多样。
• 证明所提出的架构在结合多源数据时，优于传统机器学习模型（如随机森林）的优越性。

提出的方法

• OD2RNN 架构使用两条并行的 RNN 流：一条处理哨兵-1（以 dB 为单位的 VV+VH 后向散射）时序数据，另一条处理哨兵-2（B2、B3、B4、B8、NDVI）时序数据，分别处理 34 和 24 个时间戳。
• 每条流通过双向长短期记忆网络（LSTM）进行时间建模，以从多时相数据中提取序列模式。
• 将两条流的特征拼接后，输入全连接层，生成最终的土地覆盖预测结果。
• 通过 SPOT6/7 全色和多光谱图像（10 米分辨率）使用大规模通用区域合并算法生成对象，共得到 7,462 个带标签的图像块。
• 每个对象被赋予 218 项特征：其中 170 项来自 S2（34 个时间戳 × 5 个波段/指数），48 项来自 S1（24 个时间戳 × 2 种极化方式）。
• 模型使用随机梯度下降进行训练，损失函数为交叉熵损失，并通过 10 折分层交叉验证进行评估。

实验结果

研究问题

• RQ1 是否一种在目标层面融合多时相哨兵-1 和哨兵-2 时序数据的深度学习架构，能在土地覆盖分类任务中超越传统机器学习模型（如随机森林）？
• RQ2 雷达与光学数据的融合在复杂、受云层影响的热带地貌（如留尼汪岛）中，如何提升分类性能？
• RQ3 与像素级方法相比，基于目标的处理在多大程度上提升了特征表示能力和分类鲁棒性？
• RQ4 所提出的 OD2RNN 模型是否能减少光谱相似类别（如作物种植和果园）的误分类，这些类别在仅使用光学影像时难以区分？
• RQ5 对于光学传感器存在困难的类别（如阴影），该模型表现如何，而雷达对阴影不敏感？

主要发现

• OD2RNN 实现了 89.59% 的总体准确率，显著高于最佳随机森林基线模型（RF(S2)）的 86.40%，以及 RF(S1,S2) 的 82.01%。
• OD2RNN 的 F-Measure 达到 89.48%，优于次佳方法 RF(S2) 的 86.10%，表明其整体分类性能更优。
• 在作物种植类别（类别 0）中，OD2RNN 的 F-Measure 达到 84.27%，较 RF(S2) 的 74.79% 提升了 10 个百分点。
• 对于光学传感器难以处理的阴影类别（类别 12），OD2RNN 的 F-Measure 达到 82.31%，显著优于 RF(S1) 的 0.0%，体现出雷达对阴影不敏感的优势。
• 视觉分析表明，OD2RNN 有效减少了对果园和作物种植的误分类，并最小化了火山区域因云层导致的光学影像缺失所引发的错误，而 RF(S1,S2) 无法有效补偿 S2 数据缺失。
• 该模型在处理时间间隙和光谱模糊性方面表现出鲁棒性，尤其在高云覆盖率和复杂植被结构区域表现优异。