[论文解读] Hyperspectral Image Classification with Attention Aided CNNs

Renlong Hang, Zhu Li+3 more|arXiv (Cornell University)|May 25, 2020

Remote-Sensing Image Classification参考文献 45被引用 11

一句话总结

该论文提出了一种基于注意力机制的CNN模型，用于高光谱图像分类，通过整合光谱注意力模块和空间注意力模块来增强特征学习。通过自适应地加权具有区分性的光谱波段和空间区域，该模型在三个基准数据集上实现了最先进性能，准确率更高，且计算效率与性能之间的权衡更优。

ABSTRACT

Convolutional neural networks (CNNs) have been widely used for hyperspectral image classification. As a common process, small cubes are firstly cropped from the hyperspectral image and then fed into CNNs to extract spectral and spatial features. It is well known that different spectral bands and spatial positions in the cubes have different discriminative abilities. If fully explored, this prior information will help improve the learning capacity of CNNs. Along this direction, we propose an attention aided CNN model for spectral-spatial classification of hyperspectral images. Specifically, a spectral attention sub-network and a spatial attention sub-network are proposed for spectral and spatial classification, respectively. Both of them are based on the traditional CNN model, and incorporate attention modules to aid networks focus on more discriminative channels or positions. In the final classification phase, the spectral classification result and the spatial classification result are combined together via an adaptively weighted summation method. To evaluate the effectiveness of the proposed model, we conduct experiments on three standard hyperspectral datasets. The experimental results show that the proposed model can achieve superior performance compared to several state-of-the-art CNN-related models.

研究动机与目标

• 解决由于光谱变异性和类别间相似性导致的高光谱图像误分类问题。
• 通过在统一的深度学习框架中利用光谱和空间信息，改进特征表示。
• 通过引入注意力机制，提升CNN的学习能力，优先关注具有信息量的光谱波段和空间位置。
• 开发一种在高分类准确率与高效计算之间取得平衡的模型，避免3D-CNN带来的高成本。
• 通过在标准高光谱数据集上的对比实验，验证光谱和空间注意力模块的有效性。

提出的方法

• 提出一个光谱注意力子网络，利用卷积层学习通道级注意力权重，聚焦于更具区分性的光谱波段。
• 设计一个空间注意力子网络，通过卷积层生成空间注意力图，突出局部图像块中的相关空间区域。
• 通过自适应加权融合策略整合光谱和空间特征，动态结合两个子网络的预测结果。
• 使用2D和3D卷积核从每个像素周围的裁剪高光谱立方体中提取光谱和空间特征。
• 采用端到端训练，联合优化注意力模块和分类头，实现数据驱动的特征选择。
• 在注意力引导的特征精炼后，应用全局平均池化和全连接层进行最终分类。

实验结果

研究问题

• RQ1 光谱注意力机制能否提升CNN在高光谱图像分类中的区分能力？
• RQ2 空间注意力机制能否增强模型捕捉局部图像块中相关空间模式的能力？
• RQ3 结合注意力增强的光谱与空间特征，是否能相比标准CNN实现更优的分类性能？
• RQ4 在高光谱数据集上，该模型与最先进2D和3D-CNN模型相比，在准确率和计算效率方面表现如何？
• RQ5 自适应融合策略能否有效结合互补的光谱与空间信息，以提升泛化能力？

主要发现

• 所提出的SSAtt模型在三个基准数据集（Houston 2013、Houston 2018和HyRANK）上均取得了最高的总体准确率（OA）、平均准确率（AA）、Kappa系数和F1分数。
• 仅光谱注意力子网络相比基线CNN也提升了分类性能，证明了聚焦于信息性光谱波段的价值。
• 空间注意力子网络通过强调相关空间区域，增强了特征学习，减少了噪声和无关上下文的影响。
• 采用自适应融合的集成模型优于两个独立子网络及所有对比的SOTA模型（包括3DCNN、SSRN和MSDNSA）。
• 尽管取得了更优的准确率，SSAtt模型的训练时间显著短于基于3D-CNN的模型——例如，在Houston 2013上训练时间不足3DCNN的10%。
• 该模型在性能与计算成本之间实现了良好平衡，在所有数据集上均优于SSRN，兼具更高的准确率和更高的训练效率。