[论文解读] Feature Extraction and Classification Based on Spatial-Spectral ConvLSTM Neural Network for Hyperspectral Images.

Wen-Shuai Hu, Heng-Chao Li+4 more|arXiv (Cornell University)|May 9, 2019

Remote-Sensing Image ClassificationEngineering参考文献 48被引用 19

一句话总结

该论文提出两种新颖的2D和3D空间-光谱卷积LSTM神经网络（SSCL2DNN和SSCL3DNN），通过将ConvLSTM应用于局部图像块和光谱波段，联合建模高光谱图像中的空间与光谱依赖关系。该模型在三个基准数据集上实现了最先进的分类性能，有效捕捉了长程空间-光谱特征。

ABSTRACT

In recent years, deep learning has presented a great advance in hyperspectral image (HSI) classification. Particularly, Long Short-Term Memory (LSTM), as a special deep learning structure, has shown great ability in modeling long-term dependencies in the time dimension of video or the spectral dimension of HSIs. However, the loss of spatial information makes it quite difficult to obtain the better performance. In order to address this problem, two novel deep models are proposed to extract more discriminative spatial-spectral features by exploiting the Convolutional LSTM (ConvLSTM) for the first time. By taking the data patch in a local sliding window as the input of each memory cell band by band, the 2-D extended architecture of LSTM is considered for building the spatial-spectral ConvLSTM 2-D Neural Network (SSCL2DNN) to model long-range dependencies in the spectral domain. To take advantage of spatial and spectral information more effectively for extracting a more discriminative spatial-spectral feature representation, the spatial-spectral ConvLSTM 3-D Neural Network (SSCL3DNN) is further proposed by extending LSTM to 3-D version. The experiments, conducted on three commonly used HSI data sets, demonstrate that the proposed deep models have certain competitive advantages and can provide better classification performance than other state-of-the-art approaches.

研究动机与目标

• 为解决标准LSTM在高光谱图像（HSI）分类中的局限性，即由于序列化处理导致的空间信息丢失问题。
• 开发一种深度学习架构，能够同时捕捉空间和光谱维度中的长程依赖关系。
• 通过将2D空间卷积与使用ConvLSTM的3D时序-光谱建模相结合，改进特征表示。
• 在标准HSI基准数据集上评估所提模型，并与当前最先进的方法进行性能比较。

提出的方法

• 提出一种2D空间-光谱卷积LSTM神经网络（SSCL2DNN），通过2D卷积LSTM架构逐波段处理局部图像块，以建模光谱依赖关系。
• 通过将空间和光谱维度整合到3D卷积LSTM单元中，将2D模型扩展为3D版本（SSCL3DNN），实现联合空间-光谱特征学习。
• 使用局部滑动窗口提取图像块作为每个记忆单元的输入，在光谱序列建模过程中保留空间上下文信息。
• 在LSTM单元内应用2D和3D卷积操作，从高光谱数据中提取分层的空间-光谱特征。
• 采用端到端训练方式，使用标准反向传播算法优化网络参数以实现分类目标。
• 采用标准深度学习损失函数（如交叉熵）进行监督分类训练。

实验结果

研究问题

• RQ1 2D卷积LSTM架构是否能有效建模高光谱图像中的光谱依赖关系，同时保留空间上下文信息？
• RQ2 将卷积LSTM扩展到3D是否能相比2D方法更优地表征联合空间-光谱特征？
• RQ3 所提出的SSCL2DNN和SSCL3DNN在标准HSI基准数据集上的分类准确率与现有最先进方法相比如何？
• RQ4 所提模型在多大程度上缓解了标准LSTM基高光谱分类器中常见的空间信息丢失问题？

主要发现

• 所提出的SSCL3DNN模型在三个常用高光谱图像数据集上均实现了优于其他最先进方法的分类性能。
• SSCL2DNN模型通过2D卷积LSTM架构有效建模长程光谱依赖关系，展现出改进的特征提取能力。
• 在3D卷积LSTM框架中整合空间与光谱建模，相比独立处理空间与光谱的方案，能生成更具判别性的特征表示。
• 两种模型在整体分类准确率方面均优于标准LSTM及其他深度学习基线模型，尤其在处理复杂光谱变化方面表现更优。
• 实验结果证实，所提架构在多种高光谱数据集上均表现出鲁棒性，表明其具备强大的泛化能力。
• 结果表明，通过3D卷积LSTM联合建模空间与光谱特征，性能优于对空间与光谱维度进行顺序或独立处理的方法。