[论文解读] Deep learning for semantic segmentation of remote sensing images with rich spectral content

Amina Ben Hamida, Alexandre Benoît+5 more|arXiv (Cornell University)|Dec 5, 2017

Remote-Sensing Image Classification参考文献 5被引用 8

一句话总结

本文提出3D DenseNet与2D深度学习架构，用于多光谱Sentinel-2图像的语义分割，采用噪声大、分辨率低的GlobCover标签评估性能。结果表明，利用SegNet等深度网络进行粗粒度估计可达到最高83.9%的准确率，而3D模型随深度增加性能提升，但需更多数据，凸显了遥感分割中分辨率与标签质量之间的权衡。

ABSTRACT

With the rapid development of Remote Sensing acquisition techniques, there is a need to scale and improve processing tools to cope with the observed increase of both data volume and richness. Among popular techniques in remote sensing, Deep Learning gains increasing interest but depends on the quality of the training data. Therefore, this paper presents recent Deep Learning approaches for fine or coarse land cover semantic segmentation estimation. Various 2D architectures are tested and a new 3D model is introduced in order to jointly process the spatial and spectral dimensions of the data. Such a set of networks enables the comparison of the different spectral fusion schemes. Besides, we also assess the use of a " noisy ground truth " (i.e. outdated and low spatial resolution labels) for training and testing the networks.

研究动机与目标

• 评估适用于富含光谱信息的多光谱遥感图像语义分割的深度学习架构。
• 比较2D与3D卷积神经网络架构在联合处理空间与光谱维度方面的表现。
• 研究使用噪声大、过时且分辨率低的真值标签（如2009年300米分辨率的GlobCover）进行深度网络训练与测试的可行性。
• 在训练数据有限且存在噪声的条件下，评估细粒度与粗粒度地物覆盖估计之间的性能差异。
• 探索光谱融合策略及模型深度对使用Sentinel-2数据进行分割准确率的影响。

提出的方法

• 采用2D与3D卷积神经网络，包括DenseNet与SegNet的改进版本，对结合空间-光谱特征学习的多光谱图像进行处理。
• 提出一种新型3D DenseNet架构，通过3D卷积核同时处理空间与光谱维度的3D数据体，实现多波段特征的分层融合。
• 在SegNet与DenseNet变体中采用多尺度解码路径，利用编码器层的跳跃连接在更高分辨率下优化分割图。
• 通过在波段级2D特征图上早期拼接或端到端3D卷积联合处理空间与光谱维度，实现光谱融合。
• 使用插值后的20米分辨率Sentinel-2图像，与300米分辨率的GlobCover标签进行联合训练，模拟噪声大、粗粒度的真值。
• 在两个数据集上评估模型：一个不包含云（D1），另一个将云作为独立类别（D2），两者均覆盖法国、瑞士与意大利区域。

实验结果

研究问题

• RQ1 3D卷积网络能否有效利用空间-光谱联合表示，实现多光谱遥感图像的语义分割？
• RQ2 使用噪声大、分辨率低的真值（如300米分辨率的GlobCover）对深度学习模型在地物覆盖分割中的性能有何影响？
• RQ3 当输入为高分辨率但标签为粗粒度时，细粒度与粗粒度估计之间的性能权衡如何？
• RQ4 不同的光谱融合策略——早期2D融合与端到端3D卷积——对分割准确率有何影响？
• RQ5 当在有限且噪声大的数据集上训练时，SegNet与DenseNet等深度架构在多大程度上能保持准确率？

主要发现

• 使用SegNet进行粗粒度地物覆盖估计在D1数据集（长期、无云）上达到66.9%的整体准确率，在D2数据集（短期、含云）上达到83.9%，表明在稳定时间条件下性能优异。
• 深度为$e[4,4,4]_{3D}$、$d[4,4,4]$、$g16$的3D DenseNet模型在D2数据集上达到41.2%的准确率，表明性能随模型深度增加而提升，但缺乏足够训练数据时仍受限。
• 使用3D模型进行细粒度估计在D1数据集上准确率介于25.1%至30.0%之间，在D2数据集上介于39.5%至57.9%之间，表明在噪声标签下高分辨率训练极具挑战。
• ‘人工表面’、‘裸露地表’、‘水体’与‘云’等类别被较好识别，而‘雨养农田’与‘农田/植被镶嵌’等相似类别常因标签噪声而混淆。
• SegNet中采用多尺度预测与平均策略可减少边界错误，提升鲁棒性，尤其在真值为粗粒度时效果更明显。
• 更深的3D模型带来性能提升，但训练需显著更多数据以稳定学习，尤其在细粒度分割任务中更为明显。