[论文解读] Conditional Random Field and Deep Feature Learning for Hyperspectral Image Segmentation

Fahim Irfan Alam, Jun Zhou+4 more|arXiv (Cornell University)|Nov 13, 2017

Remote-Sensing Image Classification参考文献 27被引用 3

一句话总结

本文提出了一种新颖的深度学习框架，将三维卷积神经网络（3D-CNN）与深度条件随机场（CRF）相结合，用于高光谱图像分割。通过利用3D-CNN提取光谱-空间特征，并借助基于CNN的势函数与反卷积模块对CRF进行优化，该方法在基准数据集和新数据集上均实现了最先进性能，单张图像推理时间低于1.1分钟。

ABSTRACT

Image segmentation is considered to be one of the critical tasks in hyperspectral remote sensing image processing. Recently, convolutional neural network (CNN) has established itself as a powerful model in segmentation and classification by demonstrating excellent performances. The use of a graphical model such as a conditional random field (CRF) contributes further in capturing contextual information and thus improving the segmentation performance. In this paper, we propose a method to segment hyperspectral images by considering both spectral and spatial information via a combined framework consisting of CNN and CRF. We use multiple spectral cubes to learn deep features using CNN, and then formulate deep CRF with CNN-based unary and pairwise potential functions to effectively extract the semantic correlations between patches consisting of three-dimensional data cubes. Effective piecewise training is applied in order to avoid the computationally expensive iterative CRF inference. Furthermore, we introduce a deep deconvolution network that improves the segmentation masks. We also introduce a new dataset and experimented our proposed method on it along with several widely adopted benchmark datasets to evaluate the effectiveness of our method. By comparing our results with those from several state-of-the-art models, we show the promising potential of our method.

研究动机与目标

• 为有效结合光谱与空间信息，解决高光谱图像分割的挑战。
• 通过将条件随机场（CRF）与深度神经网络结合，建模上下文依赖关系，提升分割精度。
• 通过数据增强和扩展训练样本，减少深度学习模型的过拟合。
• 在CRF框架内引入反卷积模块，以优化初始CNN预测结果，生成更精细的分割掩码。
• 在基准数据集和新引入的数据集上对方法进行全面的性能评估。

提出的方法

• 利用3D-CNN从多个光谱立方体中提取深层光谱-空间特征，捕捉波段间的三维数据相关性。
• 构建深层CRF，其中一元势和成对势均来源于CNN特征，实现上下文关系的端到端学习。
• 在CRF成对势计算中引入反卷积模块，以优化分割掩码并提升空间一致性。
• 采用数据增强技术扩大训练样本规模，缓解CNN训练过程中的过拟合问题。
• 应用均场推理与高效近似方法，将CRF计算复杂度降低至与标签数和边数呈线性关系。
• 以端到端方式联合训练CNN-CRF模型，同时优化特征学习与CRF参数估计。

实验结果

研究问题

• RQ1 联合3D-CNN与深度CRF框架是否能超越独立的CNN或CRF模型，在高光谱图像分割中实现性能提升？
• RQ2 在深度CRF中，基于CNN的一元势与成对势的整合在建模空间-光谱依赖关系方面效果如何？
• RQ3 在CRF中引入反卷积模块在多大程度上提升了分割掩码的质量与空间一致性？
• RQ4 在公开数据集与新引入的数据集上，该方法在性能与推理效率方面与最先进模型相比表现如何？
• RQ5 在训练样本有限的情况下，数据增强是否能显著提升泛化能力并减少过拟合？

主要发现

• 在Indian Pines数据集上，该方法取得了91.25%的总体准确率，在Pavia University数据集上达到92.15%，优于现有最先进模型。
• 在新引入的Griffith-USGS数据集上，该方法实现了85.97%的总体准确率，展现出在多样化数据集上的强大泛化能力。
• 在Griffith-USGS数据集上，该方法的推理时间约为1.08分钟，与其它深度学习基线模型相当，适合实时应用。
• 将反卷积模块整合至CRF成对势中，显著提升了分割掩码的平滑性与准确性。
• 数据增强有效降低了过拟合，提升了模型泛化能力，尤其在低样本场景下表现显著。
• 基于CNN特征势函数的深层CRF框架在捕捉长距离上下文依赖关系方面，优于传统CRF或独立CNN方法。