[논문 리뷰] Kolmogorov-Arnold Networks (KAN) for Time Series Classification and Robust Analysis

Chang Dong, Li Zheng외 1명|arXiv (Cornell University)|2024. 08. 14.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 128개의 UCR 데이터셋에서 시간 시리즈 분류에 대해 콜모고로프-아르놀드 네트워크(KAN)를 평가하며, KAN이 MLP와 유사한 성능을 보이며, 더 낮은 리프시츠 상수로 인해 열악한 공격에 더 강건함을 입증한다. 연구 결과, 기본 함수가 모델 출력을 지배하며, 놀랍게도 KAN의 그리드 크기가 증가함에 따라 리프시츠 상수가 증가하지만 오히려 강건성이 향상됨을 확인하였다.

ABSTRACT

Kolmogorov-Arnold Networks (KAN) has recently attracted significant attention as a promising alternative to traditional Multi-Layer Perceptrons (MLP). Despite their theoretical appeal, KAN require validation on large-scale benchmark datasets. Time series data, which has become increasingly prevalent in recent years, especially univariate time series are naturally suited for validating KAN. Therefore, we conducted a fair comparison among KAN, MLP, and mixed structures. The results indicate that KAN can achieve performance comparable to, or even slightly better than, MLP across 128 time series datasets. We also performed an ablation study on KAN, revealing that the output is primarily determined by the base component instead of b-spline function. Furthermore, we assessed the robustness of these models and found that KAN and the hybrid structure MLP\_KAN exhibit significant robustness advantages, attributed to their lower Lipschitz constants. This suggests that KAN and KAN layers hold strong potential to be robust models or to improve the adversarial robustness of other models.

연구 동기 및 목표

• 대규모 기준 데이터셋에서 콜모고로프-아르놀드 네트워크(KAN)의 시간 시리즈 분류(TSC) 성능을 평가하는 것.
• 정확한 평가를 위해 동일한 설정에서 기존 MLP와 하이브리드 아키텍처(MLP_KAN, KAN_MLP)와 KAN을 비교하는 것.
• 추론 분석을 통해 KAN의 기본 함수와 B-스플라인 성분의 기여도를 조사하는 것.
• PGD 무차별 공격 하에서 KAN 및 관련 모델의 악성 공격에 대한 강건성을 평가하고, 리프시츠 상수가 수행하는 역할을 분석하는 것.
• 리프시츠 상수가 증가하는 바람에 그리드 크기가 더 큰 KAN에서 강건성이 향상되는 이면의 이유를 설명하는 것.

제안 방법

• 128개의 단변량 시간 시리즈 데이터셋을 UCR 아카이브에서 가져와 KAN을 적용하였으며, MLP, MLP_KAN, KAN_MLP, MLP_L과 공정한 비교 설정을 사용하였다.
• KAN 아키텍처는 간선에서 학습 가능한 활성화 함수(B-스플라인)를 사용하며, 기본 함수와 스플라인 성분을 추론 분석을 통해 명시적으로 분석하였다.
• 악성 공격 강건성은 $ε$가 0.05에서 0.5 사이인 PGD 무차별 공격을 사용하여 평가하였으며, 모든 데이터셋에서 공격 성공률(ASR)을 측정하였다.
• 리프시츠 상수를 계산하고 비교하여 강건성과 모델의 매끄러움 및 기울기 민감도 간의 상관관계를 분석하였다.
• 추론 분석은 기본 함수와 B-스플라인 성분을 분리하여 각 성분이 모델 출력과 최적화 동역학에 미치는 영향을 평가하는 데 사용되었다.
• 고그리드 크기 KAN의 역설적인 강건성에 대한 가설을 제안한다: 리프시츠 상수가 증가하지만, 지배적인 기본 함수와 스플라인 성분에서의 기울기 방향 오류로 인해 효과적인 공격 성공률가 감소할 수 있다.

Figure 1 : A three-layer KAN structure with the architecture [3-5-3-1].

실험 결과

연구 질문

• RQ1 KAN은 128개 데이터셋으로 구성된 대규모 기준 벤치마크에서 시간 시리즈 분류 성능이 MLP와 유사한가?
• RQ2 기본 함수와 B-스플라인 함수 중 어느 것이 KAN 출력에 더 큰 기여를 하는가?
• RQ3 리프시츠 상수가 증가하는 바람에 그리드 크기가 더 큰 KAN가 왜 더 높은 악성 공격 강건성을 보이는가?
• RQ4 KAN의 리프시츠 상수는 MLP 및 하이브리드 모델과 비교해 어떻게 다른가? 그리고 이는 강건성의 차이를 어느 정도 설명하는가?
• RQ5 왜 고그리드 크기 KAN의 최적화가 더 어려운가? 이는 모델 성능에 어떤 영향을 미치는가?

주요 결과

• KAN은 128개의 UCR 시간 시리즈 데이터셋 전반에서 MLP와 유사한 분류 성능을 보이며, 유의미한 성능 격차가 관찰되지 않았다.
• 추론 분석 결과, 기본 함수가 B-스플라인 함수보다 더 크게 출력에 기여함을 확인하였으며, 기본 함수를 제거할 경우 출력 분포가 극적으로 변화함을 통해 이를 입증하였다.
• KAN은 MLP보다 뛰어난 악성 공격 강건성을 보이며, $ε = 0.5$일 때 50%의 데이터셋에서 공격 성공률(ASR)이 75% 이하로 떨어졌다. 이는 MLP 및 KAN_MLP를 능가하는 성과이다.
• MLP_KAN 하이브리드 모델은 테스트된 모든 모델 중에서 가장 뛰어난 강건성을 보였으며, $ε = 0.5$일 때 50%의 데이터셋에서 ASR이 75% 이하였다.
• 더 높은 리프시츠 상수를 지닌 고그리드 크기 KAN는 더 높은 강건성을 보이며, 이는 스플라인 성분에서의 기울기 방향 오류가 효과적인 공격 성공률를 감소시킬 수 있음을 시사한다.
• 고그리드 크기의 B-스플라인 함수는 최적화가 어려운 편이며, 좁고 중심이 0인 출력 분포와 낮은 테스트 정확도로 인해 이는 고그리드 수준에서의 최적화 과제를 반영한다.

(a) Test Accuracy of five models