[论文解读] JigsawHSI: a network for Hyperspectral Image classification

Jaime Moraga|arXiv (Cornell University)|Jun 6, 2022

Remote-Sensing Image Classification被引用 11

一句话总结

JigsawHSI 是一种基于 Inception 架构的二维卷积神经网络，专为高光谱图像（HSI）分类而设计。通过利用降维技术和可配置的超参数，它在印度松林、帕维亚大学和萨利纳斯数据集上实现了最先进性能，其准确率与 HybridSN 相当或更优，展示了在地球科学应用中的强大泛化能力。

ABSTRACT

This article describes Jigsaw, a convolutional neural network (CNN) used in geosciences and based on Inception but tailored for geoscientific analyses. Introduces JigsawHSI (based on Jigsaw) and uses it on the land-use land-cover (LULC) classification problem with the Indian Pines, Pavia University and Salinas hyperspectral image data sets. The network is compared against HybridSN, a spectral-spatial 3D-CNN followed by 2D-CNN that achieves state-of-the-art results on the datasets. This short article proves that JigsawHSI is able to meet or exceed HybridSN's performance in all three cases. It also introduces a generalized Jigsaw architecture in d-dimensional space for any number of multimodal inputs. Additionally, the use of jigsaw in geosciences is highlighted, while the code and toolkit are made available.

研究动机与目标

• 开发一种轻量级、可配置的卷积神经网络（CNN），用于高光谱图像（HSI）分类，避免使用复杂的三维卷积神经网络架构。
• 评估是否 Jigsaw 网络的二维卷积神经网络变体能够在高光谱图像分类中实现与 HybridSN 等混合三维-二维网络相当的最先进性能。
• 评估在 JigsawHSI 框架下，降维技术对高光谱图像分类准确率的影响。
• 展示该网络在地球科学应用中的泛化能力，如土地利用/土地覆盖分类和地热潜力制图。
• 提供公开可获取的代码库和工具包，以促进遥感与地球科学领域中的可复现性与广泛应用。

提出的方法

• JigsawHSI 基于 Inception 架构构建，通过并行使用 1×1、3×3 及更大卷积核，捕捉多尺度的空间与光谱特征。
• 通过 1×1 卷积引入网络中网络模块，以降低维度并引入非线性，同时保持计算效率。
• 可选的 Crop 层可隔离中心特征图，以保留通道维度的非线性并减少空间维度。
• 输入在送入网络前通过主成分分析（PCA）或奇异值分解（SVD）等降维技术进行预处理，以管理高光谱维度。
• 模型采用监督学习进行训练，使用标准 HSI 基准数据集中的真实像素级标签。
• 超参数（如卷积核大小、滤波器数量和网络深度）可配置，以适应不同输入数据和应用需求。

实验结果

研究问题

• RQ1 基于二维卷积神经网络的架构（如 JigsawHSI）是否能够在高光谱图像分类中实现与 HybridSN 等最先进的混合三维-二维卷积神经网络相当的性能？
• RQ2 在结合 JigsawHSI 进行高光谱图像分类时，降维技术（如 PCA、SVD）作为预处理步骤的效果如何？
• RQ3 JigsawHSI 在不同高光谱数据集和地球科学应用中的泛化能力达到何种程度？
• RQ4 在高光谱图像分类任务中，哪些超参数和网络架构选择对实现最佳性能最为关键？
• RQ5 Jigsaw 架构能否推广至地球科学场景中的多模态或非图像数据输入？

主要发现

• 在印度松林、帕维亚大学和萨利纳斯三个基准数据集上，JigsawHSI 的分类准确率与或优于 HybridSN。
• 在印度松林数据集上，JigsawHSI 达到或超过 HybridSN 报告的准确率，证明其在更简单的二维卷积神经网络设计下具备竞争力。
• 在帕维亚大学数据集上，JigsawHSI 与 HybridSN 表现相当，验证了其在城市土地覆盖分类任务中的有效性。
• 在萨利纳斯数据集上，JigsawHSI 表现至少与 HybridSN 相当，证实其在不同高光谱数据特征下的鲁棒性。
• 该网络在地球科学应用中表现出良好的泛化能力，在大坝坍塌后土地利用/土地覆盖分类中达到 86% 的准确率，在地热潜力制图中达到 92–95% 的准确率。
• 广义的 Jigsaw 架构成功统一了 JigsawHSI 和 Geothermal AI，使该方法能够应用于多模态、预处理或降维后的输入，在地球科学场景中具有广泛适用性。