[論文レビュー] A Dynamic Framework for Grid Adaptation in Kolmogorov-Arnold Networks

Spyros Rigas, Thanasis Papaioannou+2 more|arXiv (Cornell University)|Jan 26, 2026

Gaussian Processes and Bayesian Inference被引用数 0

ひとこと要約

本論文は、Importance Density Functions (IDF) を用いた Kolmogorov–Arnold Networks (KANs) における動的ノット(グリッド)割り当ての一般化フレームワークを導入し、曲率に基づく適応戦略が入力密度ベースの基準よりも合成データ、Feynman、Helmholtz PDE のベンチマークで精度を向上させることを示す。

ABSTRACT

Kolmogorov-Arnold Networks (KANs) have recently demonstrated promising potential in scientific machine learning, partly due to their capacity for grid adaptation during training. However, existing adaptation strategies rely solely on input data density, failing to account for the geometric complexity of the target function or metrics calculated during network training. In this work, we propose a generalized framework that treats knot allocation as a density estimation task governed by Importance Density Functions (IDFs), allowing training dynamics to determine grid resolution. We introduce a curvature-based adaptation strategy and evaluate it across synthetic function fitting, regression on a subset of the Feynman dataset and different instances of the Helmholtz PDE, demonstrating that it significantly outperforms the standard input-based baseline. Specifically, our method yields average relative error reductions of 25.3% on synthetic functions, 9.4% on the Feynman dataset, and 23.3% on the PDE benchmark. Statistical significance is confirmed via Wilcoxon signed-rank tests, establishing curvature-based adaptation as a robust and computationally efficient alternative for KAN training.

研究の動機と目的

• KANs におけるグリッド適応を入力密度ヒューリスティックを超えて動的密度推定として捉える。
• 訓練中のノット割り当てを導く曲率ベースのIDF を提案する。
• 曲率ベースの適応を合成関数回帰、Feynman データセット回帰、Helmholtz PDE ベンチマークで評価する。
• 統計的有意性を示し、計算オーバーヘッドとスケーラビリティについて議論する。

提案手法

• 層の入力に対するサンプル重みを用いて離散的経験的IDFを定義する。
• 重み付けされた経験的CDFを構築し、それを反転させてノット位置を得る。
• IDF が一様である場合、入力ベースの適応を特殊ケースとして示す。
• 曲率ベースの重みを、入力座標に対する層の出力の二階偏導の絶対値の総和として定義する。
• 曲率重みは自動微分または有限差分で計算する。
• 進行的なグリッド拡張を用いて評価し、複数のベンチマークで入力密度ベースの基準と比較する。

Figure 1: Visual comparison of grid adaptation strategies on a 1D sharp Gaussian regression task. (Top) The model predictions from the input-based (dashed red) and curvature-based (dashed blue) KAN models. The training data, sampled from a uniform distribution, is shown in light gray. (Middle) The r

実験結果

リサーチクエスチョン

• RQ1 曲率ベースのノット割り当ては、合成関数、Feynman データセット、Helmholtz PDE ベンチマークにおいて標準の入力ベース手法と比較して近似誤差を改善するか。
• RQ2 提案されたIDFフレームワークは、既存の入力ベース適応とどのように関連し、一般化するか。
• RQ3 改善の統計的有意性はどの程度か、計算オーバーヘッドはどの程度か。
• RQ4 曲率ベースの適応はよりロバストな訓練とシード間分散低下を提供できるか。

主な発見

• 曲率ベースの適応は、合成関数での相対誤差を平均約25.3%削減、Feynmanデータセットで約9.4%、PDEベンチマークで約23.3%を削減する。
• ウィルコクソンの符号順位検定は、ベンチマークで統計的有意性を確認（合成で p = 0.042、Feynmanで p = 1.5e-4）。
• 曲率ベースのグリッドは高曲率領域にノットを集中させ、対象関数が幾何学的に複雑な領域で局所分解能を向上させる。
• 曲率ベース適応のオーバーヘッドは控えめで、より大規模なPDEタスクでは約5–10%、他のケースでは約10–12%、訓練期間が長くなると相対的に低下する。
• 入力ベースの基準と比較して、種間変動が小さくロバストである。

Figure 2: Comparative evaluation on the Helmholtz PDE benchmark across four increasing frequency configurations. The grouped bar chart showcases the median relative $L^{2}$ error in logarithmic scale, with error bars indicating the standard deviation over 3 independent runs.