[论文解读] Locality-Aware Hyperspectral Classification

Zhou Fang-qin, Mert Kilickaya+1 more|arXiv (Cornell University)|Sep 4, 2023

Remote-Sensing Image Classification被引用 6

一句话总结

该论文提出HyLITE，一种用于高光谱图像分类的视觉Transformer模型，通过一种新颖的局部-光谱注意力机制和局部-全局正则化损失，显式建模局部空间上下文与光谱信息。该方法实现了最先进性能，在Indian Pines数据集上的准确率相比先前方法（如SpectralFormer）最高提升了10.83%。

ABSTRACT

Hyperspectral image classification is gaining popularity for high-precision vision tasks in remote sensing, thanks to their ability to capture visual information available in a wide continuum of spectra. Researchers have been working on automating Hyperspectral image classification, with recent efforts leveraging Vision-Transformers. However, most research models only spectra information and lacks attention to the locality (i.e., neighboring pixels), which may be not sufficiently discriminative, resulting in performance limitations. To address this, we present three contributions: i) We introduce the Hyperspectral Locality-aware Image TransformEr (HyLITE), a vision transformer that models both local and spectral information, ii) A novel regularization function that promotes the integration of local-to-global information, and iii) Our proposed approach outperforms competing baselines by a significant margin, achieving up to 10% gains in accuracy. The trained models and the code are available at HyLITE.

研究动机与目标

• 解决现有高光谱图像分类器仅依赖光谱信息而忽略局部空间上下文的局限性。
• 在不同类别光谱特征高度相似导致误分类的情况下，提升分类性能。
• 提出一种新型正则化损失，以增强局部与全局表征的融合，从而提升特征可分性。
• 在多个标准高光谱图像基准数据集上展示最先进性能。

提出的方法

• 提出HyLITE，一种视觉Transformer架构，通过同时关注局部空间邻域和光谱波段来处理高光谱图像块。
• 实现双分支注意力机制，在同一Transformer块内建模局部（空间）与光谱表征之间的关系。
• 提出一种新型局部-全局正则化损失，鼓励远距离像素与光谱相互关注，从而增强表征能力。
• 使用在光谱维度初始化的全局分类器标记，以在早期处理阶段优先考虑光谱信息。
• 在Transformer块内部进行局部与光谱表征的特征级融合，而非在分类层进行后期融合。
• 应用位置编码以保留空间与光谱位置信息，使模型能够区分不同的空间与光谱位置。

实验结果

研究问题

• RQ1 当光谱特征高度相似时，显式建模局部空间上下文是否能提升高光谱图像分类性能？
• RQ2 在高光谱Transformer中，注意力顺序（光谱优先 vs. 局部优先）如何影响分类性能？
• RQ3 局部-全局正则化损失在多大程度上提升了高光谱图像分类中的特征表征与泛化能力？
• RQ4 在高光谱Transformer中，特征级融合是否优于类别级后期融合？
• RQ5 HyLITE在多个标准基准数据集上与SpectralFormer等最先进模型相比表现如何？

主要发现

• 与SpectralFormer相比，HyLITE在Indian Pines数据集上的总体准确率绝对提升10.83%，表明性能显著提升。
• 在Houston2013数据集上，HyLITE相比基线模型总体准确率提升3.41%，平均准确率也提升3.41%。
• 在Pavia University数据集上，HyLITE总体准确率提升6.64%，证实了在多样化数据集上的持续增益。
• 消融研究显示，结合局部与光谱注意力及正则化损失可获得最高性能提升，表明两个组件均不可或缺。
• 特征级融合相比类别级后期融合性能大幅提升，证实了模态间早期交互的重要性。
• 当光谱注意力在局部注意力之前处理，且全局分类器标记在光谱维度初始化时，模型性能最佳，凸显了架构设计的敏感性。