[論文レビュー] KAN: Kolmogorov-Arnold Networks

Ziming Liu, Yixuan Wang+6 more|arXiv (Cornell University)|Apr 30, 2024

Computability, Logic, AI Algorithms被引用数 481

ひとこと要約

KANs は従来のニューラルウェイトを学習可能なエッジ活性化関数（スプライン）に置換し、MLPと比較して解釈性を改善しつつ小型でより正確なネットワークを実現し、データフィッティングと PDE 解法で実証され、対話的な記号的洞察も提供します。

ABSTRACT

Inspired by the Kolmogorov-Arnold representation theorem, we propose Kolmogorov-Arnold Networks (KANs) as promising alternatives to Multi-Layer Perceptrons (MLPs). While MLPs have fixed activation functions on nodes ("neurons"), KANs have learnable activation functions on edges ("weights"). KANs have no linear weights at all -- every weight parameter is replaced by a univariate function parametrized as a spline. We show that this seemingly simple change makes KANs outperform MLPs in terms of accuracy and interpretability. For accuracy, much smaller KANs can achieve comparable or better accuracy than much larger MLPs in data fitting and PDE solving. Theoretically and empirically, KANs possess faster neural scaling laws than MLPs. For interpretability, KANs can be intuitively visualized and can easily interact with human users. Through two examples in mathematics and physics, KANs are shown to be useful collaborators helping scientists (re)discover mathematical and physical laws. In summary, KANs are promising alternatives for MLPs, opening opportunities for further improving today's deep learning models which rely heavily on MLPs.

研究の動機と目的

• Kolmogorov-Arnold Networks (KANs) を MLPs の代替として、エッジ上の活性化関数をスプラインで学習することによって導入する。
• データフィッティングと PDE 解法において優れた精度とパラメータ効率を実証し、ニューラルスケーリング則を確立する。
• 精度と解釈性を向上させるためのグリッド拡張と簡略化技術を開発する。
• 解釈性ツール（可視化、プルーニング、シンボリフィケーション）を紹介し、科学（数学/物理学）での協働的利用を示す。

提案手法

• 1変数関数と和の Kolmogorov-Arnold 形で f を表現し、活性化がエッジ関数となる KAN 層として実装する。
• 1D 関数を B-splines でパラメータ化する; 層間の関数活性化の行列（Φ_l）を実装して重み行列を置換する。
• 残差型活性化設計と慎重な初期化を用い、訓練中にスプライン格子を活性化量に適応させて更新する。
• 深さと幅を拡張してより深い KAN を形成し、グリッドサイズに基づく誤差減衰を示す理論的近似境界（Theorem 2.1）を提供する。
• グリッド拡張を導入してゼロからの再学習なしに精度を高める; 2) 解釈性のためのスパース化/エントロピー正規化とノード重要度による剪定; 3) 対話的な象徴発見のためのシンボリフィケーション・インターフェース。
• 可視化ツールと対話的なワークフローを備えた、解釈可能なフレームワークを提供し、シンボリック回帰に触発された洞察を得る。

Figure 0.1: Multi-Layer Perceptrons (MLPs) vs. Kolmogorov-Arnold Networks (KANs)

実験結果

リサーチクエスチョン

• RQ1 KANs は代表的なタスク（データフィッティングと PDE 解法）において、MLPs より少ないパラメータでより高い精度を達成できるか？
• RQ2 滑らかな Kolmogorov-Arnold 表現の下で、KANs は有利なニューラルスケーリング則を示すか？
• RQ3 グリッド拡張とスパース化は過度な再訓練なしにKANの精度と解釈性をどのように向上させられるか？
• RQ4 可視化、プルーニング、象徴的な相互作用を通じて、KANs を科学的発見の協働ツールとしてどのように活用できるか？

主な発見

• 2層、幅10の KAN は PDE 解法において、4層、幅100 の MLP より著しく高い精度を達成（MSE 10^-7 vs 10^-5）、パラメータ数は100分の1（100 対 10^4）。
• KANs はより速いニューラルスケーリング則を示し、有効指数 alpha は最大で 4（キュービックスプラインのとき k+1 = 3+1 = 4）、経験的結果はこの境界に近づく。
• グリッド拡張によりスプライン格子を細かくすることによって精度を体系的に改善でき、訓練時間の考慮事項と補間閾値の挙動について述べる。
• 簡略化技術（L1様ノルムによるスパース化とエントロピー正規化、ノード重要度による剪定、シンボリフィケーションを含む）によって解釈性の高いネットワークが得られ、exp(sin(pi x)+y^2) のような例で対話的な象徴的発見を可能にする。
• 理論的近似境界（Theorem 2.1）によれば、有限グリッドを持つ滑らかな KAN 表現は滑らかな関数を近似でき、誤差は CG^{-k-1+m} に減衰することを示しており、適切な表現下で次元の呪いを打ち破る可能性を示唆する。
• KANs は外部自由度と内部自由度を強調し、組成学習（external）と学習可能な一変数関数（internal）を組み合わせることで、構造と精度の両方を達成する。

Figure 2.1: Our proposed Kolmogorov-Arnold networks are in honor of two great late mathematicians, Andrey Kolmogorov and Vladimir Arnold. KANs are mathematically sound, accurate and interpretable.