[论文解读] Faster hyperspectral image classification based on selective kernel mechanism using deep convolutional networks

Guandong Li, Chunju Zhang|arXiv (Cornell University)|Feb 14, 2022

Remote-Sensing Image Classification被引用 9

一句话总结

本文提出FSKNet，一种基于轻量级3D-CNN的高光谱图像分类模型，通过集成选择性卷积核机制，动态适应感受野。通过结合3D到2D的特征转换与通道注意力（SE模块）及空间自适应卷积，FSKNet在IN、UP、Salinas和Botswana数据集上实现了高精度，同时显著减少了参数量和推理时间。

ABSTRACT

Hyperspectral imagery is rich in spatial and spectral information. Using 3D-CNN can simultaneously acquire features of spatial and spectral dimensions to facilitate classification of features, but hyperspectral image information spectral dimensional information redundancy. The use of continuous 3D-CNN will result in a high amount of parameters, and the computational power requirements of the device are high, and the training takes too long. This letter designed the Faster selective kernel mechanism network (FSKNet), FSKNet can balance this problem. It designs 3D-CNN and 2D-CNN conversion modules, using 3D-CNN to complete feature extraction while reducing the dimensionality of spatial and spectrum. However, such a model is not lightweight enough. In the converted 2D-CNN, a selective kernel mechanism is proposed, which allows each neuron to adjust the receptive field size based on the two-way input information scale. Under the Selective kernel mechanism, it mainly includes two components, se module and variable convolution. Se acquires channel dimensional attention and variable convolution to obtain spatial dimension deformation information of ground objects. The model is more accurate, faster, and less computationally intensive. FSKNet achieves high accuracy on the IN, UP, Salinas, and Botswana data sets with very small parameters.

研究动机与目标

• 解决传统3D-CNN在高光谱图像分类中参数量大、计算成本高的问题。
• 在保留判别性特征的同时，减少高光谱数据中的光谱与空间冗余。
• 设计一种轻量级网络，在极小模型尺寸下保持高分类精度。
• 通过选择性卷积核机制与降维技术，降低模型复杂度，从而加速推理。
• 在基准高光谱数据集上以更少的参数量实现最先进性能。

提出的方法

• 首先使用3D-CNN从高光谱数据中提取联合空间-光谱特征。
• 引入3D到2D的特征转换模块，降低空间与光谱维度，从而减少模型复杂度。
• 在2D-CNN分支中引入选择性卷积核机制，根据输入尺度自适应调整感受野大小。
• 选择性卷积核机制结合了Squeeze-and-Excitation（SE）模块以实现通道注意力，以及可学习的空间自适应卷积以实现形变建模。
• 采用双流输入处理策略，利用多尺度信息实现动态感受野自适应。
• 网络架构在保持高精度的同时，针对推理速度与参数效率进行了优化。

实验结果

研究问题

• RQ1 混合3D-2D CNN架构是否能在保持分类精度的同时降低计算成本？
• RQ2 选择性卷积核机制在高光谱数据中自适应感受野方面是否有效，从而改善特征表示？
• RQ3 在不降低分类性能的前提下，光谱与空间冗余可被减少到何种程度？
• RQ4 SE模块与可变卷积的集成是否能同时提升模型效率与精度？
• RQ5 在标准高光谱基准数据集上，FSKNet与现有3D-CNN基线模型相比，在精度与速度方面表现如何？

主要发现

• FSKNet在Indian Pines（IN）、University of Pavia（UP）、Salinas和Botswana数据集上实现了高分类精度，且模型参数量极小。
• 由于参数量显著减少且架构高效，该模型相比标准3D-CNN推理速度明显更快。
• 选择性卷积核机制实现了动态感受野自适应，以极低计算开销提升了特征表示能力。
• SE模块与可变卷积的结合同时增强了通道注意力与空间形变建模能力，显著提升了性能。
• FSKNet在精度上优于或匹配最先进方法，同时具有显著更高的参数效率。
• 3D到2D的特征转换有效减少了冗余并加速了处理过程，同时未牺牲特征质量。