[論文レビュー] Kolmogorov-Arnold Networks (KAN) for Time Series Classification and Robust Analysis

Chang Dong, Li Zheng+1 more|arXiv (Cornell University)|Aug 14, 2024

Neural Networks and Applications被引用数 4

ひとこと要約

本稿は、128個のUCRデータセットを用いた時系列分類において、Kolmogorov-Arnold Network（KAN）の性能を評価している。KANはMLPと同等の性能を示す一方で、より低いリプシッツ定数のおかげで、敵対的ロバストネスに優れている。研究では、基本関数がモデル出力に支配的であることが明らかになった。また、直感に反して、KANのグリッドサイズを大きくすることで、リプシッツ定数が増加するにもかかわらず、ロバストネスが向上することが示された。

ABSTRACT

Kolmogorov-Arnold Networks (KAN) has recently attracted significant attention as a promising alternative to traditional Multi-Layer Perceptrons (MLP). Despite their theoretical appeal, KAN require validation on large-scale benchmark datasets. Time series data, which has become increasingly prevalent in recent years, especially univariate time series are naturally suited for validating KAN. Therefore, we conducted a fair comparison among KAN, MLP, and mixed structures. The results indicate that KAN can achieve performance comparable to, or even slightly better than, MLP across 128 time series datasets. We also performed an ablation study on KAN, revealing that the output is primarily determined by the base component instead of b-spline function. Furthermore, we assessed the robustness of these models and found that KAN and the hybrid structure MLP\_KAN exhibit significant robustness advantages, attributed to their lower Lipschitz constants. This suggests that KAN and KAN layers hold strong potential to be robust models or to improve the adversarial robustness of other models.

研究の動機と目的

• Kolmogorov-Arnold Network（KAN）が大規模なベンチマークデータセット上で時系列分類（TSC）に与える性能を評価すること。
• 同一設定下でMLPとハイブリッドアーキテクチャ（MLP_KAN、KAN_MLP）と比較し、公平な評価を実施すること。
• アブレーションスタディを通じて、基本関数とBスプライン成分の寄与度を調査すること。
• PGD未ターゲット攻撃下におけるKANおよび関連モデルの敵対的ロバストネスを評価し、リプシッツ定数の役割を分析すること。
• リプシッツ定数が増加するにもかかわらず、グリッドサイズが大きいKANがロバストネスを向上させるという直感に反する現象を解明すること。

提案手法

• KANはUCRアーカイブの128個の単変量時系列データセットに適用され、MLP、MLP_KAN、KAN_MLP、MLP_Lと公平な比較設定が採用された。
• KANアーキテクチャはエッジに学習可能な活性化関数（Bスプライン）を用い、基本関数とスプライン成分の明示的分析がアブレーションスタディを通じて行われた。
• 敵対的ロバストネスは、$ε$ を 0.05 から 0.5 の範囲で変化させるPGD未ターゲット攻撃を用い、全データセットで攻撃成功確率（ASR）を測定した。
• リプシッツ定数はモデル間で計算・比較され、ロバストネスとモデルの滑らかさ・勾配感受性の関連を検証した。
• アブレーションスタディでは、基本関数とBスプライン成分を分離し、それぞれがモデル出力および最適化ダイナミクスに与える寄与度を評価した。
• 高グリッドサイズKANの逆説的ロバストネスを説明する仮説を提示した：リプシッツ定数が高くなるにもかかわらず、支配的となる基本関数とスプライン成分における勾配のずれが、実効的な攻撃成功確率を低下させる可能性がある。

Figure 1 : A three-layer KAN structure with the architecture [3-5-3-1].

実験結果

リサーチクエスチョン

• RQ1 KANは128個のデータセットからなる大規模ベンチマークにおいて、MLPと同等の性能を達成できるか？
• RQ2 出力に与える影響について、基本関数とBスプライン関数の相対的寄与度はどの程度か？
• RQ3 リプシッツ定数が増加するにもかかわらず、グリッドサイズが大きいKANがより高い敵対的ロバストネスを示す理由は何か？
• RQ4 KANのリプシッツ定数はMLPやハイブリッドモデルと比べてどの程度か？ また、ロバストネスの差を説明する要因としてどの程度寄与するか？
• RQ5 なぜグリッドサイズが大きいKANでは最適化が困難になるのか？ また、これはモデル性能にどのように影響するか？

主な発見

• KANは128個のUCR時系列分類データセットすべてでMLPと同等の分類性能を達成しており、顕著な性能差は観察されなかった。
• アブレーションスタディの結果、基本関数がBスプライン関数よりも出力により顕著に寄与していることが示された。特に、基本関数を除去すると出力分布が著しく変化した。
• KANはMLPより優れた敵対的ロバストネスを示し、$ε = 0.5$ 時に50%のデータセットで攻撃成功率（ASR）が75%未満に抑えられ、MLPやKAN_MLPを上回った。
• MLP_KANハイブリッドモデルは、全モデルの中で最も優れたロバストネスを示し、$ε = 0.5$ 時に50%のデータセットでASRが75%未満だった。
• 高いリプシッツ定数を有するにもかかわらず、グリッドサイズが大きいKANはより高いロバストネスを示した。これは、スプライン成分における勾配のずれが、実効的な攻撃成功確率を低下させる可能性を示唆している。
• 大規模グリッドサイズのBスプライン関数は最適化が困難であることが、出力分布が狭くゼロ中心に集中し、テスト精度が低くなることからも裏付けられた。これは、高グリッド数における最適化の困難さを示している。

(a) Test Accuracy of five models