[논문 리뷰] Exploring the Limitations of Kolmogorov-Arnold Networks in Classification: Insights to Software Training and Hardware Implementation

Van Duy Tran, Tran Xuan Hieu Le외 6명|arXiv (Cornell University)|2024. 07. 25.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 네 가지 데이터셋에서 다층 퍼셉트론(MLPs)과 비교하여 코르모고로프-아르놀드 네트워크(KANs)의 분류 작업 성능을 평가한다. 소프트웨어 학습과 FPGA 기반 하드웨어 구현을 병행한다. KANs의 해석 가능성과 정확도 향상이라는 이론적 이점에도 불구하고, 결과적으로 KANs는 정확도와 하드웨어 효율성 측면에서 MLPs에 뒤지며, 정확도 향상이 일관되게 확보되지 않은 채 상당히 많은 자원을 소비하고 더 높은 전력 소비를 보인다.

ABSTRACT

Kolmogorov-Arnold Networks (KANs), a novel type of neural network, have recently gained popularity and attention due to the ability to substitute multi-layer perceptions (MLPs) in artificial intelligence (AI) with higher accuracy and interoperability. However, KAN assessment is still limited and cannot provide an in-depth analysis of a specific domain. Furthermore, no study has been conducted on the implementation of KANs in hardware design, which would directly demonstrate whether KANs are truly superior to MLPs in practical applications. As a result, in this paper, we focus on verifying KANs for classification issues, which are a common but significant topic in AI using four different types of datasets. Furthermore, the corresponding hardware implementation is considered using the Vitis high-level synthesis (HLS) tool. To the best of our knowledge, this is the first article to implement hardware for KAN. The results indicate that KANs cannot achieve more accuracy than MLPs in high complex datasets while utilizing substantially higher hardware resources. Therefore, MLP remains an effective approach for achieving accuracy and efficiency in software and hardware implementation.

연구 동기 및 목표

• 다양한 데이터셋에서 KANs의 실용적 효과성을 MLPs와 비교하여 분류 작업에 대해 평가하는 것.
• Vitis 고수준 합성(HLS)을 사용해 FPGA에 KANs를 구현할 때 발생하는 하드웨어 자원 과부하를 조사하는 것.
• 실제 구현 환경에서 KANs와 MLPs 간의 정확도와 하드웨어 효율성 간의 상충 관계를 평가하는 것.
• KANs의 해석 가능성 및 함수 근사화에서 이론적 이점이 분류 작업에서 실질적 이점으로 이어지는지 확인하는 것.
• KANs의 첫 하드웨어 구현을 제공하여 자원 활용도와 지연 시간 측면에서 MLPs와 직접 비교할 수 있도록 하는 것.

제안 방법

• 모든 데이터셋에서 KANs와 MLPs를 학습: 월즈(이진), 와인(삼분류), 드라이 빈(칠분류), 버섯(이진) 분류.
• 코르모고로프-아르놀드 표현 정리에 따라 KANs를 단변수 함수의 복합 구조로 구성하여, 행렬 대신 학습 가능한 스퍼링 함수를 사용한다.
• Vitis HLS를 사용해 FPGA 플랫폼에서 KAN 및 MLP 모델을 하드웨어로 구현하여 자원 사용량, 지연 시간, 전력 소비를 측정한다.
• 학습된 KAN 모델을 하드웨어 매핑을 위해 기호 수식으로 변환하며, 이 과정에서 단변수 스퍼링 함수를 매개변수화하고 합성한다.
• 주요 하드웨어 지표인 BRAM, DSP, LUT, FF, 지연 시간, 전력 지연 곱(PDP)을 측정하고 비교한다.
• 모든 데이터셋에서 모델 복잡도, 하드웨어 자원 사용량, 분류 정확도 간의 상관관계를 분석한다.

Figure 1: The generalized KAN architecture

실험 결과

연구 질문

• RQ1 KANs는 다양한 실제 데이터셋에서 MLPs보다 더 높은 분류 정확도를 달성하는가?
• RQ2 FPGA에 KANs를 구현했을 때 MLPs에 비해 하드웨어 자원 소비가 어떻게 다른가?
• RQ3 KANs의 기호 수식 표현 방식이 하드웨어 효율성을 높이거나 자원 과부하를 증가시키는가?
• RQ4 KANs와 MLPs 간의 정확도와 하드웨어 효율성(지연 시간, 전력, 면적) 간의 상충 관계는 어떠한가?
• RQ5 높은 자원 요구량을 감안할 때, KANs는 하드웨어 자원이 제한된 환경에서 실질적으로 구현 가능한가?

주요 결과

• KANs는 네 가지 데이터셋 전반에서 MLPs의 성능을 뛰어넘지 못했으며, MLPs가 일관되게 더 높거나 유사한 성능을 기록했다.
• KANs는 MLPs보다 상당히 많은 하드웨어 자원을 소비했으며, DSP는 최대 958.76배 증가(예: 버섯 데이터셋에서 16,299 대 17), LUT는 최대 284.7배 증가했다.
• KANs의 전력 소비는 상당히 높았으며, 드라이 빈 데이터셋에서 14.802W에 달했고, 이는 MLPs의 20배 이상이었다. 이는 자원 과다 사용 탓이었다.
• KANs의 지연 시간은 MLPs보다 높았으며, 사이클 수가 1.1배에서 2.27배까지 더 길었다(예: 버섯 데이터셋에서 3,434 대 3,128 사이클).
• KANs의 기호 수식 변환 과정은 시간이 오래 걸리고 오류가 많았으며, 정확도 손실 최소화를 위해 광범위한 수동 튜닝이 필요했다.
• 매개변수 수가 적은 편이지만 KANs의 하드웨어 자원 소비는 MLPs를 초월했으며, 이는 기호 함수 표현 방식이 행렬 곱셈보다 훨씬 자원 집약적임을 시사한다.

Figure 2: The training time between MLPs and KANs