[논문 리뷰] SigKAN: Signature-Weighted Kolmogorov-Arnold Networks for Time Series

Hugo Inzirillo, Rémi Genet|arXiv (Cornell University)|2024. 06. 25.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

SigKAN은 다변수 시계열에 대해 학습 가능한 경로 시그니처를 도입하여 Kolmogorov-Arnold Networks의 가중치를 적용하고, 여러 베이스라인에 비해 함수 근사 및 예측 성능이 향상됨을 보인다.

ABSTRACT

We propose a novel approach that enhances multivariate function approximation using learnable path signatures and Kolmogorov-Arnold networks (KANs). We enhance the learning capabilities of these networks by weighting the values obtained by KANs using learnable path signatures, which capture important geometric features of paths. This combination allows for a more comprehensive and flexible representation of sequential and temporal data. We demonstrate through studies that our SigKANs with learnable path signatures perform better than conventional methods across a range of function approximation challenges. By leveraging path signatures in neural networks, this method offers intriguing opportunities to enhance performance in time series analysis and time series forecasting, among other fields.

연구 동기 및 목표

• 개선된 다변량 시계열 함수 근사 및 예측의 동기를 부여한다.
• 기하학적 경로 특징을 포착하기 위해 학습 가능한 경로 시그니처를 Kolmogorov-Arnold Networks와 통합한다.
• GRKAN과 학습 가능한 경로 시그니처를 사용하는 SigKAN 아키텍처를 개발한다.
• 시장 거래량 및 수익 태스크에서 SigKAN을 순환 신경망 및 트랜스포머 기반 기준선과 평가한다.

제안 방법

• 시그니처 계산 전에 입력 경로를 학습 가능한 계수로 곱하는 학습 가능한 경로 시그니처 층을 도입한다.
• 정보 흐름을 조절하고 게이팅을 통한 해석 가능성을 제공하기 위해 Gated Residual KAN(GRKAN)을 사용한다.
• SigKAN을 KAN 출력의 가중치로, SoftMax으로 정규화된 GRKAN 시그니처 가중 벡터를 통해 적용한다.
• RMSE 손실로 학습하고 주 지표로 R^2를 보고하며, 조기 중단 및 학습률 스케줄링이 있는 Adam을 사용한다.
• Binance 거래량 및 절대 수익 예측 태스크에서 TKAN, TKAT, GRU, LSTM, MLP 변형과 대조 벤치마크한다.

실험 결과

연구 질문

• RQ1 학습 가능한 경로 시그니처로 KAN 출력을 가중하는 것이 다변수 시계열의 함수 근사를 향상시키는가?
• RQ2 SigKAN은 짧은 예측과 장기 예측에서 순환 및 어텐션 기반 기준선과 어떻게 비교되는가?
• RQ3 태스크 전반에 걸친 SigKAN의 안정성 및 매개변수 효율성은 어떠한가?
• RQ4 시그니KAN 계층을 쌓는 것이 시그니처 차원에 따라 성능 및 계산에 어떤 영향을 미치는가?

주요 결과

시간	SK-1	SD-1	SK-2	SD-2
1	0.36225	0.33055	0.30807	0.31907
3	0.21961	0.21532	0.20580	0.21066
6	0.16361	0.15544	0.15351	0.15836
9	0.13997	0.12768	0.12684	0.13338
12	0.12693	0.11628	0.11826	0.11814
15	0.11861	0.11097	0.11448	0.11065

• SigKAN은 거래량 예측의 짧은 horizon에서 평균 R^2 기준으로 TKAN, TKAT, GRU, LSTM 등 간단한 기준선보다 뛰어나다.
• 시그니처 가중은 일반적인 Dense 또는 GRN 기반 변형보다 이점을 제공하며, SigKAN은 종종 SigDense 성능과 맞먹거나 능가한다.
• SigKAN은 더 긴 horizon에서 순환 모델에 비해 더 안정적인 R^2 결과를 보여준다.
• 두 계층 SigKAN(SK-2)은 특정 설정에서 하나의 계층(SK-1)보다 일반적으로 성능 향상을 보이나, 이점은 작업에 따라 다르다.
• 모델 크기 분석에서 SigKAN은 시간 차원을 평탄화하는 과정에서 매개변수 수가 더 많아질 수 있음을 보여주어, 매개변수를 줄일 수 있는 아키텍처 조정이 필요함을 시사한다.