[논문 리뷰] Are KANs Effective for Multivariate Time Series Forecasting?

Xiao Han, Xinfeng Zhang외 3명|arXiv (Cornell University)|2024. 08. 21.

Stock Market Forecasting Methods인용 수 7

한 줄 요약

본 논문은 다변량 시계열 예측을 위한 단일 계층 KAN 기반 모델인 Reversible Mixture of KAN Experts (RMoK)를 제안하고, KAN 기반 접근법의 성능, 통합, 속도, 해석가능성을 살펴보면서 일곱 개의 실제 데이터 세트에서 종종 최첨단 성능을 달성함을 보인다.

ABSTRACT

Multivariate time series forecasting is a crucial task that predicts the future states based on historical inputs. Related techniques have been developing in parallel with the machine learning community, from early statistical learning methods to current deep learning methods. Despite their significant advancements, existing methods continue to struggle with the challenge of inadequate interpretability. The rise of the Kolmogorov-Arnold Network (KAN) provides a new perspective to solve this challenge, but current work has not yet concluded whether KAN is effective in time series forecasting tasks. In this paper, we aim to evaluate the effectiveness of KANs in time-series forecasting from the perspectives of performance, integrability, efficiency, and interpretability. To this end, we propose the Multi-layer Mixture-of-KAN network (MMK), which achieves excellent performance while retaining KAN's ability to be transformed into a combination of symbolic functions. The core module of MMK is the mixture-of-KAN layer, which uses a mixture-of-experts structure to assign variables to best-matched KAN experts. Then, we explore some useful experimental strategies to deal with the issues in the training stage. Finally, we compare MMK and various baselines on seven datasets. Extensive experimental and visualization results demonstrate that KANs are effective in multivariate time series forecasting. Code is available at: https://github.com/2448845600/EasyTSF.

연구 동기 및 목표

• 심층 모델의 표현력 및 해석 가능성 격차를 해결하기 위해 시계열 예측에 Kolmogorov-Arnold Networks (KAN)의 사용을 고무한다.
• TSF를 위한 KAN 전문가 혼합을 포함하는 간단하고 해석 가능한 단일 계층 KAN 기반 모델(RMoK)을 제안한다.
• 일곱 개의 실제 TSF 데이터 세트에서 RMoK를 Transformer, CNN 및 Linear 기초 모델과 실증적으로 비교한다.
• KAN 변형이 시계열 특징, 데이터 세트의 주기성 및 모델 효율성과 어떻게 상호 작용하는지 검토한다.
• 게이팅 가중치 시각화 및 사례 분석을 통해 RMoK의 해석 가능성을 조사한다.

제안 방법

• 각 전문가가 KAN 변형인 MoK (mixture of KAN experts) 계층을 정의하고 게이팅 네트워크가 변수를 전문가에 할당한다.
• RevIN+ 정규화, 예측을 위한 단일 MoK 계층, 그리고 RevIN−를 사용하여 출력을 역정규화한다.
• 하나의 전문가가 우세하지 않도록 부하 균형 손실(L_load-balancing = CV(loads)^2)을 적용하고 이를 MSE 손실과 함께 학습에 사용한다.
• 일곱 개의 실제 TSF 데이터 세트에서 KAN 기반 모델( RMoK 변형 포함)을 Linear, CNN 및 Transformer 기준선과 비교한다.
• Transformer 기반 모델에 MoK를 플러그인 형태로 통합하여 성능 향상을 평가한다(예: 주의 모듈의 선형 투영을 대체하는 경우 등).
• 게이팅 가중치를 시각화하여 시계열 특징 가중치와 데이터 주기성 간의 관계를 분석한다.

Figure 1 : The computational process of Linear and KAN layers under a certain input and output dimension.

실험 결과

연구 질문

• RQ1 다양한 실제 데이터 세트에 걸쳐 다변량 시계열 예측에서 KAN 기반 모델(특히 RMoK)이 경쟁력 있거나 최첨단 성능을 달성하는가?
• RQ2 TSF에서 KAN 변형은 데이터 세트의 크기(변수 수) 및 시계열 특성(주기성, 추세)과 어떻게 상호 작용하는가?
• RQ3 KAN 기반 구성요소를 Transformer 기반 모델에 효과적으로 통합하여 성능을 개선할 수 있는가?
• RQ4 게이팅 가중치를 통한 해석 가능성과 전문가의 시계열 특징 정합성과 관련해 RMoK가 어떤 통찰을 제공하는가?

주요 결과

• RMoK는 일곱 개의 실제 데이터 세트에서 대다수의 경우에 최상의 결과를 달성하고 최첨단 기준선과 경쟁하거나 이를 능가한다.
• 변수가 적은 데이터 세트에서 RMoK 변형이 자주 우수하고, 변수 수가 많은 데이터 세트에서 기본 MoK(RMoK-B)가 강하게 작동하여 혼합 전문가 접근법이 변수 수를 잘 처리함을 시사한다.
• KAN 기반 모델은 일반적으로 Linear 기준선을 능가하여 KAN의 표현이 시계열의 주기성 및 추세와 잘 맞음을 시사한다.
• MoK를 Transformer 기반 모델(iTransformer with MoK)에 통합하면 여러 데이터세트에서 성능이 향상되어 효과적인 플러그인 기능을 보여준다.
• RMoK는 게이팅 가중치를 통해 변수-전문가 할당을 시각화하여 해석 가능성을 제공하며, 학습된 가중치가 데이터 주기성(예: 일일 주기)을 반영함을 보여준다.
• KAN 변형은 단변 예측 동작을 거의 근접하게 모사하고 다변량 예측을 가중된 단변 예측 과제로 전환하여 설명 가능성을 돕는다.

Figure 2 : The structure of RMoK and MoK layer.