[论文解读] Hyperspectral Image Classification: Artifacts of Dimension Reduction on Hybrid CNN

Muhammad Ahmad, Sidrah Shabbir+4 more|arXiv (Cornell University)|Jan 25, 2021

Remote-Sensing Image Classification被引用 9

一句话总结

本文提出了一种轻量级混合3D/2D卷积神经网络模型，用于高光谱图像分类，通过在特征提取前应用降维（尤其是主成分分析PCA）来降低计算成本。该方法在五个基准数据集上实现了最先进（SOTA）的分类精度，同时提升了泛化能力和效率，尽管参数量和训练样本数更少，仍优于现有的2D/3D卷积神经网络模型。

ABSTRACT

Convolutional Neural Networks (CNN) has been extensively studied for Hyperspectral Image Classification (HSIC) more specifically, 2D and 3D CNN models have proved highly efficient in exploiting the spatial and spectral information of Hyperspectral Images. However, 2D CNN only considers the spatial information and ignores the spectral information whereas 3D CNN jointly exploits spatial-spectral information at a high computational cost. Therefore, this work proposed a lightweight CNN (3D followed by 2D-CNN) model which significantly reduces the computational cost by distributing spatial-spectral feature extraction across a lighter model alongside a preprocessing that has been carried out to improve the classification results. Five benchmark Hyperspectral datasets (i.e., SalinasA, Salinas, Indian Pines, Pavia University, Pavia Center, and Botswana) are used for experimental evaluation. The experimental results show that the proposed pipeline outperformed in terms of generalization performance, statistical significance, and computational complexity, as compared to the state-of-the-art 2D/3D CNN models except commonly used computationally expensive design choices.

研究动机与目标

• 解决3D卷积神经网络在高光谱图像分类（HSIC）中计算成本过高的问题，同时保持光谱-空间特征提取能力。
• 研究降维技术对混合3D/2D卷积神经网络在HSIC中性能的影响。
• 优化输入窗口尺寸以提升分类精度和泛化能力。
• 开发一种轻量级、端到端可训练的框架，在HSIC中实现精度与效率的平衡。
• 在多个基准数据集上展示优于最先进2D/3D卷积神经网络模型的性能。

提出的方法

• 设计了一种混合3D/2D卷积神经网络架构，其中3D卷积提取联合光谱-空间特征，随后通过2D卷积进行空间优化。
• 作为预处理步骤，应用主成分分析（PCA）、独立成分分析（ICA）、稀疏主成分分析（SPCA）、奇异值分解（SVD）和改进的PCA（iPCA）进行降维，以减少光谱冗余和计算负载。
• 使用9×9和11×11的输入块对模型进行端到端训练，以评估空间窗口尺寸对性能的影响。
• 在五个基准数据集（SalinasA、Salinas、Indian Pines、Pavia University、Pavia Center、Botswana）上进行评估，采用一致的训练设置。
• 通过总体精度（OA）、平均精度（AA）和Kappa系数评估性能，以确保统计显著性。
• 在相同的训练集/测试集划分（50/50）和训练/验证划分下，与最先进模型（如多尺度3D-CNN和3D/2D-CNN）进行对比。

实验结果

研究问题

• RQ1 降维技术如何影响混合3D/2D卷积神经网络在高光谱图像分类中的性能？
• RQ2 在与所提出的混合CNN结合时，哪种降维技术（PCA、ICA、SPCA、SVD、iPCA）能获得最佳分类精度？
• RQ3 在所提框架中，最优输入窗口尺寸（9×9与11×11）是什么，以最大化分类性能？
• RQ4 所提出的混合3D/2D卷积神经网络在精度、泛化能力和计算成本方面，与最先进2D和3D卷积神经网络模型相比如何？
• RQ5 轻量级混合CNN能否在参数量、滤波器数量、训练轮次和训练样本数更少的情况下实现最先进性能？

主要发现

• 所提出的混合3D/2D卷积神经网络在Salinas Full Scene数据集上实现了99.89%的OA、99.90%的AA和99.97%的Kappa，优于所有对比模型。
• 作为预处理步骤，PCA在所有数据集上均取得了最高分类性能，在15–27个光谱波段范围内保持了稳定的OA和Kappa值。
• 11×11的输入窗口尺寸在Pavia University和Botswana数据集上相比9×9提升了分类精度，表明更大的感受野能更好地表示特征。
• 在Botswana数据集上，该模型实现了97.73%的OA、97.91%的AA和98.20%的Kappa，显著优于3D-CNN（88.26% OA）和2D-CNN（82.54% OA）。
• 所提方法在更少的卷积层、滤波器数量、训练轮次和训练样本数下实现了最先进性能，显著降低了计算时间，同时保持了高精度。
• 该框架在全部五个基准数据集上均表现出强大的泛化能力和统计显著性，证实了其鲁棒性和高效性。