[论文解读] Deep Neural Networks for Semantic Segmentation of Multispectral Remote Sensing Imagery.

Ronald Kemker, Christopher Kanan|arXiv (Cornell University)|Mar 19, 2017

Remote-Sensing Image Classification参考文献 21被引用 9

一句话总结

本文提出一种基于深度学习的多光谱遥感影像（MSI）语义分割方法，利用合成数据克服标注数据稀缺的问题。通过使用合成多光谱影像初始化深度卷积神经网络（DCNN），该方法减少了过拟合现象，并在新发布的RIT-18数据集上建立了最先进基线，该数据集包含由无人机（UAV）采集的超高分辨率多光谱影像。

ABSTRACT

Deep convolutional neural networks (DCNNs) have been used to achieve state-of-the-art performance on many computer vision tasks (e.g., object recognition, object detection, semantic segmentation) thanks to a large repository of annotated image data. Large labeled datasets for other sensor modalities, e.g., multispectral imagery (MSI), are not available due to the large cost and manpower required. In this paper, we adapt state-of-the-art DCNN frameworks in computer vision for semantic segmentation for MSI imagery. To overcome label scarcity for MSI data, we substitute real MSI for generated synthetic MSI in order to initialize a DCNN framework. We evaluate our network initialization scheme on the new RIT-18 dataset that we present in this paper. This dataset contains very-high resolution MSI collected by an unmanned aircraft system. The models initialized with synthetic imagery were less prone to over-fitting and provide a state-of-the-art baseline for future work.

研究动机与目标

• 为解决用于训练深度神经网络的大规模标注多光谱影像（MSI）数据集缺乏的问题。
• 通过使用合成MSI进行网络初始化，而非真实标注数据，以克服MSI中的标注稀缺问题。
• 开发一种针对无人飞行器（UAS）获取的高分辨率MSI量身定制的鲁棒深度学习框架，用于语义分割。
• 评估合成数据初始化在新发布、高质量MSI基准数据集上的有效性。

提出的方法

• 将计算机视觉领域最先进的深度卷积神经网络（DCNN）架构适配用于MSI语义分割。
• 生成合成多光谱影像，用于预训练或初始化DCNN，从而减少对稀缺真实标注数据的依赖。
• 使用RIT-18数据集——一个新发布的、由UAS采集的超高分辨率MSI数据集——进行评估。
• 使用合成MSI进行网络初始化后，再在真实MSI数据上进行微调训练DCNN。
• 在初始化后的真实MSI数据上训练过程中，应用标准的语义分割损失函数（如交叉熵）。
• 使用标准分割指标在RIT-18测试集上评估模型的泛化能力和过拟合表现。

实验结果

研究问题

• RQ1 合成多光谱影像能否有效初始化深度神经网络，以实现真实MSI应用中的语义分割？
• RQ2 与随机初始化或真实数据初始化相比，使用合成MSI进行网络初始化在过拟合和性能方面有何差异？
• RQ3 所提出的方法是否在高分辨率多光谱遥感影像语义分割上建立了最先进基线？
• RQ4 在有限的真实MSI数据集上，使用合成数据在多大程度上提升了模型的泛化能力？

主要发现

• 与使用真实数据初始化的模型相比，使用合成多光谱影像初始化的模型表现出显著减少的过拟合现象。
• 合成初始化方法在RIT-18数据集上实现了最先进性能，为MSI语义分割设立了新基准。
• 该方法有效利用了合成数据来弥补真实标注MSI的稀缺性，提升了模型的鲁棒性。
• RIT-18数据集展现出足够的复杂度和分辨率，可作为未来MSI分割研究的可靠基准。