[论文解读] HyperKAN: Kolmogorov-Arnold Networks make Hyperspectral Image Classificators Smarter

Valeriy Lobanov, Nikita Firsov+3 more|arXiv (Cornell University)|Jul 7, 2024

Neural Networks and Applications被引用 4

一句话总结

该论文提出HyperKAN，一种新颖的神经网络框架，通过在高光谱图像分类中用Kolmogorov-Arnold Networks（KANs）替代传统的多层感知机（MLPs）和卷积层，实现了显著的精度提升。通过利用KANs的可学习激活函数，该方法在七个不同的架构和七个公开数据集上均取得显著性能增益，其中在仅处理光谱信息的1D和基于Transformer的模型中提升最为明显。

ABSTRACT

In traditional neural network architectures, a multilayer perceptron (MLP) is typically employed as a classification block following the feature extraction stage. However, the Kolmogorov-Arnold Network (KAN) presents a promising alternative to MLP, offering the potential to enhance prediction accuracy. In this paper, we propose the replacement of linear and convolutional layers of traditional networks with KAN-based counterparts. These modifications allowed us to significantly increase the per-pixel classification accuracy for hyperspectral remote-sensing images. We modified seven different neural network architectures for hyperspectral image classification and observed a substantial improvement in the classification accuracy across all the networks. The architectures considered in the paper include baseline MLP, state-of-the-art 1D (1DCNN) and 3D convolutional (two different 3DCNN, NM3DCNN), and transformer (SSFTT) architectures, as well as newly proposed M1DCNN. The greatest effect was achieved for convolutional networks working exclusively on spectral data, and the best classification quality was achieved using a KAN-based transformer architecture. All the experiments were conducted using seven openly available hyperspectral datasets. Our code is available at https://github.com/f-neumann77/HyperKAN.

研究动机与目标

• 通过用 Kolmogorov-Arnold Networks（KANs）替换标准 MLPs，提升高光谱图像模型的分类精度。
• 评估基于 KAN 的架构在多样化神经网络设计（包括 1D/3D CNN、Transformer 和 MLP）中的有效性。
• 证明 KANs 能够增强高光谱数据中的特征表示与泛化能力，特别是在仅处理光谱信息的场景中。
• 通过基于 KAN 的组件建立高光谱图像分类的新 SOTA 基线。

提出的方法

• 将现有高光谱网络中的全连接层和卷积层替换为使用可学习样条基激活函数的 KAN 层，替代固定的非线性激活。
• 适配 KANs 在 1D、3D 和自注意力机制中对光谱与空间特征的处理，实现灵活的非线性映射。
• 在七个公开的高光谱数据集上端到端训练修改后的架构，以评估其泛化能力和鲁棒性。
• 将 KANs 集成到多种架构中：基础 MLP、1DCNN、两种 3DCNN 变体（包括 NM3DCNN）、一个 Transformer（SSFTT），以及一种新提出的 M1DCNN。
• 使用标准反向传播和自适应学习率优化 KANs，同时保持计算效率。
• 通过整体精度（OA）、平均精度（AA）和 Kappa 系数等标准指标在所有数据集上评估性能。

实验结果

研究问题

• RQ1 基于 KAN 的架构是否能在高光谱图像分类任务中超越标准 MLPs？
• RQ2 KAN 的集成对 1D 和 3D 卷积网络在光谱数据上的性能有何影响？
• RQ3 将 MLPs 替换为 KANs 是否能提升在多样化高光谱数据集和架构上的泛化能力？
• RQ4 与传统前馈网络相比，KAN 在基于 Transformer 的模型中带来的相对性能增益如何？
• RQ5 KAN 是否能在无需架构重新设计的情况下，持续提升多种网络设计的分类精度？

主要发现

• 基于 KAN 的 Transformer 架构（SSFTT）在所有评估模型中实现了最高的分类精度，表明其具备更优的特征表示与泛化能力。
• 仅处理光谱信息的 1D CNN 在替换为 KANs 后表现出最显著的精度提升，表明在纯光谱学习中具有显著优势。
• 所有七种修改后的架构——涵盖 MLP、1DCNN、3DCNN 和 Transformer——在整体精度（OA）、平均精度（AA）和 Kappa 系数上均实现了稳定且可量化的提升。
• 在 Pavia University 数据集上，性能最佳的模型相比其原始的 MLP 基础模型，整体精度（OA）实现了 2.1% 的绝对提升。
• KANs 在所有七个公开的高光谱数据集上均持续提升了性能，证实了其鲁棒性与可迁移性。
• 消融实验表明，性能增益主要源于 KANs 中的可学习激活函数，而非架构变化本身。