[論文レビュー] Kolmogorov-Arnold Networks: A Critical Assessment of Claims, Performance, and Practical Viability

Y. R. Hou, Ji, Tianrui+2 more|arXiv (Cornell University)|Jul 13, 2024

Cognitive Computing and Networks被引用数 30

ひとこと要約

この論文はKolmogorov-Arnold Networks (KAN)の体系的な調査を提供し、理論、構造、応用、進展、将来の方向性を詳述します。性能、実用性、適用領域における実現可能性を評価します。

ABSTRACT

Kolmogorov-Arnold Networks (KANs) have gained significant attention as an alternative to traditional multilayer perceptrons, with proponents claiming superior interpretability and performance through learnable univariate activation functions. However, recent systematic evaluations reveal substantial discrepancies between theoretical claims and empirical evidence. This critical assessment examines KANs' actual performance across diverse domains using fair comparison methodologies that control for parameters and computational costs. Our analysis demonstrates that KANs outperform MLPs only in symbolic regression tasks, while consistently underperforming in machine learning, computer vision, and natural language processing benchmarks. The claimed advantages largely stem from B-spline activation functions rather than architectural innovations, and computational overhead (1.36-100x slower) severely limits practical deployment. Furthermore, theoretical claims about breaking the "curse of dimensionality" lack rigorous mathematical foundation. We systematically identify the conditions under which KANs provide value versus traditional approaches, establish evaluation standards for future research, and propose a priority-based roadmap for addressing fundamental limitations. This work provides researchers and practitioners with evidence-based guidance for the rational adoption of KANs while highlighting critical research gaps that must be addressed for broader applicability.

研究の動機と目的

• KANの基本構造と作動原理を解明する。
• タスク全体での実装方法と課題を探る。
• 実用的な応用でのKANの性能を分析し、他のモデルと比較する。
• 現在の研究進展を要約し、将来の方向性を提案する。

提案手法

• Kolmogorov-Arnol'd theorem foundations and KAN developments.
• 学習可能な単一変数活性化関数（多くはスプライン）を用いたKANアーキテクチャを説明する。
• トレーニング/最適化、正則化、安定性の考慮事項を論じる。
• 変種とハイブリッド（例：T-KAN、MT-KAN、SigKAN、GKAN、Wav-KAN、rKAN、Conv-KAN）を要約する。
• パラメータ数、効率、性能、解釈性の観点からKANを従来のネットワークと比較する。

実験結果

リサーチクエスチョン

• RQ1 KANの理論的基盤は何で、それはアーキテクチャにどのように影響するのか？
• RQ2 学習可能な単一変数活性化関数は性能、効率、解釈性にどのように影響するか？
• RQ3 KANとその変種はどのタスクで利点を提供するか（シンボリック回帰、時系列、グラフ、ハイパースペクトル画像）？
• RQ4 現在の制約と将来の方向性は何か？

主な発見

• KANは固定重みを学習可能な単一変数関数に置換し、通常はスプラインベースで、柔軟性と解釈性を高める。
• KANはデータフィッティング、偏微分方程式の解法、時系列、シンボリック回帰、ハイパースペクトル画像分類で潜在的な利点を示し、いくつかの研究で優れた性能が報告されている。
• T-KAN、MT-KAN、SigKANなどの変種は時系列予測とマルチタスク学習を改善する； GKANはグラフ構造データの処理を強化する； Wav-KANはウェーブレットを統合する； rKANは有理基底を使用する。
• パス署名と多段階エンコーダ（SpectralKAN）はハイパースペクトル特徴抽出を強化し、計算要件を削減する。
• 全体として、KANフレームワークは特定の領域でパラメータ効率とロバスト性を提供できるが、トレーニングの複雑さと安定性は注意深い管理を要する。