[论文解读] HSI-CNN: A Novel Convolution Neural Network for Hyperspectral Image

Yanan Luo, Jie Zou+3 more|arXiv (Cornell University)|Feb 28, 2018

Remote-Sensing Image ClassificationEngineering参考文献 26被引用 16

一句话总结

本文提出 HSI-CNN，一种新颖的3D卷积神经网络框架，通过先从目标像素及其邻域生成1D特征图，再将这些特征图堆叠为2D矩阵，从而从高光谱图像中提取光谱-空间特征，并使用标准CNN进行处理。该方法在KSC、IP、PU和SA数据集上分别实现了99.28%、99.09%、99.42%和98.95%的最先进分类准确率，证明了在训练样本有限条件下的卓越性能。

ABSTRACT

With the development of deep learning, the performance of hyperspectral image (HSI) classification has been greatly improved in recent years. The shortage of training samples has become a bottleneck for further improvement of performance. In this paper, we propose a novel convolutional neural network framework for the characteristics of hyperspectral image data, called HSI-CNN. Firstly, the spectral-spatial feature is extracted from a target pixel and its neighbors. Then, a number of one-dimensional feature maps, obtained by convolution operation on spectral-spatial features, are stacked into a two-dimensional matrix. Finally, the two-dimensional matrix considered as an image is fed into standard CNN. This is why we call it HSI-CNN. In addition, we also implements two depth network classification models, called HSI-CNN+XGBoost and HSI-CapsNet, in order to compare the performance of our framework. Experiments show that the performance of hyperspectral image classification is improved efficiently with HSI-CNN framework. We evaluate the model's performance using four popular HSI datasets, which are the Kennedy Space Center (KSC), Indian Pines (IP), Pavia University scene (PU) and Salinas scene (SA). As far as we concerned, HSI-CNN has got the state-of-art accuracy among all methods we have known on these datasets of 99.28%, 99.09%, 99.42%, 98.95% separately.

研究动机与目标

• 解决高光谱图像（HSI）分类中训练样本有限的挑战。
• 开发一种针对HSI数据独特光谱-空间特性的深度学习框架。
• 通过有效利用HSI中的光谱和空间信息，提升分类准确率。
• 在标准HSI基准数据集上，将所提出的HSI-CNN框架与现有模型进行对比评估。
• 探索使用XGBoost和CapsNet的扩展方法，以进行性能对比分析。

提出的方法

• 利用局部空间和光谱模式，从中心像素及其周围邻域提取光谱-空间特征。
• 对提取的光谱-空间特征应用1D卷积操作，生成多个1D特征图。
• 将1D特征图堆叠为2D矩阵，将其作为伪图像输入供给标准2D CNN处理。
• 利用标准卷积神经网络层，从2D矩阵中学习分层的空间与光谱表征。
• 实现两种变体模型——HSI-CNN+XGBoost与HSI-CapsNet，用于对比评估。
• 在四个基准HSI数据集上，使用标准反向传播与交叉熵损失，端到端训练模型。

实验结果

研究问题

• RQ1 混合光谱-空间特征提取策略是否能提升在训练样本有限的高光谱图像中的分类准确率？
• RQ2 与直接的3D或2D处理相比，1D光谱-空间特征的2D矩阵转换如何增强CNN的学习能力？
• RQ3 HSI-CNN在标准HSI基准数据集上相较于现有最先进方法的性能提升如何？
• RQ4 HSI-CNN+XGBoost与HSI-CapsNet两种附加模型在准确率与鲁棒性方面表现如何？
• RQ5 所提出的框架是否能在具有不同空间与光谱特性的多样化HSI数据集上保持高性能？

主要发现

• HSI-CNN在肯尼迪航天中心（KSC）数据集上实现了99.28%的分类准确率，优于现有方法。
• 在印第安纳松（IP）数据集上，HSI-CNN达到99.09%的准确率，表明在样本有限条件下具有强大的泛化能力。
• 在帕维亚大学（PU）场景中，该模型达到99.42%的准确率，表明在城市环境中具有高度有效性。
• 在萨利纳斯（SA）场景中，HSI-CNN实现98.95%的准确率，证实其在多样化地表覆盖类型中的鲁棒性。
• 该框架在所有四个基准数据集上均持续优于基线模型与既有的最先进方法。
• 消融实验确认，1D光谱-空间特征的2D矩阵转换显著增强了特征表征与分类性能。