[论文解读] Exploring the Limitations of Kolmogorov-Arnold Networks in Classification: Insights to Software Training and Hardware Implementation

Van Duy Tran, Tran Xuan Hieu Le+6 more|arXiv (Cornell University)|Jul 25, 2024

Neural Networks and Applications被引用 4

一句话总结

本文在四个数据集上对比了Kolmogorov-Arnold Networks（KANs）与多层感知机（MLPs）在分类任务中的表现，结合了软件训练与基于FPGA的硬件实现。尽管KAN在可解释性和准确性方面具有理论优势，但结果表明，KAN在准确率和硬件效率方面均逊于MLP，其资源消耗显著更高，功耗更大，且未实现一致的准确率提升。

ABSTRACT

Kolmogorov-Arnold Networks (KANs), a novel type of neural network, have recently gained popularity and attention due to the ability to substitute multi-layer perceptions (MLPs) in artificial intelligence (AI) with higher accuracy and interoperability. However, KAN assessment is still limited and cannot provide an in-depth analysis of a specific domain. Furthermore, no study has been conducted on the implementation of KANs in hardware design, which would directly demonstrate whether KANs are truly superior to MLPs in practical applications. As a result, in this paper, we focus on verifying KANs for classification issues, which are a common but significant topic in AI using four different types of datasets. Furthermore, the corresponding hardware implementation is considered using the Vitis high-level synthesis (HLS) tool. To the best of our knowledge, this is the first article to implement hardware for KAN. The results indicate that KANs cannot achieve more accuracy than MLPs in high complex datasets while utilizing substantially higher hardware resources. Therefore, MLP remains an effective approach for achieving accuracy and efficiency in software and hardware implementation.

研究动机与目标

• 评估KAN在多样化数据集上的分类任务中相对于MLP的实际有效性。
• 研究使用Vitis高阶合成（HLS）在FPGA上实现KAN时的硬件资源开销。
• 评估KAN与MLP在实际部署中准确率与硬件效率（延迟、功耗、面积）之间的权衡。
• 确定KAN在可解释性和函数逼近方面的理论优势是否能转化为分类任务中的实际优势。
• 提供首个KAN的硬件实现，以实现与MLP在资源利用率和延迟方面的直接比较。

提出的方法

• 在四个基准数据集（moons（二分类）、wine（三分类）、dry bean（七分类）和mushroom（二分类））上训练KAN和MLP模型。
• 利用Kolmogorov-Arnold表示定理，将KAN结构化为单变量函数的复合形式，以可学习的样条函数替代权重矩阵。
• 使用Vitis HLS在FPGA平台上实现KAN和MLP模型的硬件版本，以测量资源使用量、延迟和功耗。
• 将训练好的KAN模型转换为符号公式，用于硬件映射，包括对单变量样条函数进行参数化与综合。
• 测量并比较关键硬件指标：BRAMs、DSPs、LUTs、FFs、延迟和功耗延迟积（PDP）。
• 分析所有数据集中模型复杂度、硬件资源使用量与分类准确率之间的相关性。

Figure 1: The generalized KAN architecture

实验结果

研究问题

• RQ1 KAN在多样化的真实世界数据集上是否实现了比MLP更高的分类准确率？
• RQ2 在FPGA上实现时，KAN的硬件资源消耗与MLP相比如何？
• RQ3 KAN的符号公式表示是否带来更好的硬件效率，还是导致更高的资源开销？
• RQ4 KAN与MLP在准确率与硬件效率（延迟、功耗、面积）之间存在怎样的权衡？
• RQ5 鉴于其高资源需求，KAN能否在资源受限的环境中实现实际部署？

主要发现

• 在所有四个数据集中，KAN均未能在分类准确率上超越MLP，MLP在所有情况下均实现了更高或相当的性能。
• KAN所需的硬件资源显著多于MLP：DSPs最多增加958.76倍（如在mushroom数据集中为16,299 vs. 17），LUTs最多增加284.7倍。
• KAN的功耗显著更高，在dry bean数据集中达到14.802W，超过MLP的20倍以上，主要由于资源过度使用。
• KAN的延迟高于MLP，周期数范围为1.1倍至2.27倍（如在mushroom数据集中为3,434 vs. 3,128周期）。
• KAN的符号公式转换过程耗时且易出错，需大量手动调优以最小化准确率损失。
• 尽管参数量更低，KAN的硬件资源消耗仍高于MLP，表明符号函数表示比矩阵乘法资源开销大得多。

Figure 2: The training time between MLPs and KANs