[論文レビュー] BSRBF-KAN: A combination of B-splines and Radial Basis Functions in Kolmogorov-Arnold Networks

Hoang-Thang Ta|arXiv (Cornell University)|Jun 17, 2024

Advanced Numerical Analysis Techniques被引用数 7

ひとこと要約

BSRBF-KANはB-splinesとGaussian RBFをKolmogorov-Arnold Network内で組み合わせ、MNISTとFashion-MNISTで訓練し、いくつかのKANとMLPより競争力のある精度とより速い収束を達成します。

ABSTRACT

In this paper, we introduce BSRBF-KAN, a Kolmogorov Arnold Network (KAN) that combines B-splines and radial basis functions (RBFs) to fit input vectors during data training. We perform experiments with BSRBF-KAN, multi-layer perception (MLP), and other popular KANs, including EfficientKAN, FastKAN, FasterKAN, and GottliebKAN over the MNIST and Fashion-MNIST datasets. BSRBF-KAN shows stability in 5 training runs with a competitive average accuracy of 97.55% on MNIST and 89.33% on Fashion-MNIST and obtains convergence better than other networks. We expect BSRBF-KAN to open many combinations of mathematical functions to design KANs. Our repo is publicly available at: https://github.com/hoangthangta/BSRBF_KAN.

研究の動機と目的

• 滑らかで制御可能な基底関数を得るために、B-splinesとRBFを融合して新しいKAN（BSRBF-KAN）を動機づけ、設計する。
• MNISTおよびFashion-MNIST上で、他のKANやMLPと比較したBSRBF-KANの安定性と収束性を評価する。
• 重要な構成要素を特定するため、B-splinesとRBFsの組み合わせの影響をアブレーション研究を通じて評価する。
• 複合的な数学関数を用いた将来のKAN設計に向けた実証的指針を提供する。

提案手法

• 多変量関数分解のためにKolmogorov-Arnold表現定理をKANの基盤とする。
• 活性化関数がベース出力、B-splines、ガウスRBF成分の重み付き混合である順伝搬/逆伝搬アーキテクチャを実装する。
• レイヤー正規化と標準の訓練設定（AdamW、CrossEntropy）を、GottliebKANを除く784-64-10のような比較可能なネットワーク形状で用いる。
• B-splines、RBF、ベース出力、レイヤー正規化を除去するアブレーション研究を実施し、性能影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 KAN内でB-splineとGaussian RBFの結合活性化は、MNISTおよびFashion-MNISTで既存のKAN/MLPの性能に匹敵するか、それを上回ることができるか？
• RQ2 B-splines、RBF、ベース出力、またはレイヤー正規化を除去するアブレーションは、BSRBF-KANの訓練の安定性と一般化にどう影響するか？
• RQ3 BSRBF-KANはEfficientKAN、FastKAN、FasterKAN、GottliebKAN、およびMLPと比べて、複数回の訓練実行でより速い収束と安定性を提供するか？
• RQ4 MNISTとFashion-MNISTの結果をBSRBF-KANで平均した場合、他の手法と比較して全体の性能はどうなるか？ 탑

主な発見

データセット	モデル	訓練精度	検証精度	F1	時間（秒）	パラメータ数
MNIST	BSRBF-KAN	100.0	97.63	97.6	222	459040
MNIST	FastKAN	99.94	97.38	97.34	102	459114
MNIST	FasterKAN	98.52	97.38	97.36	93	408224
MNIST	EfficientKAN	99.34	97.54	97.5	122	508160
MNIST	GottliebKAN	99.66	97.78	97.74	269	219927
MNIST	MLP	99.42	97.69	97.66	273	52512
Fashion-MNIST	BSRBF-KAN	99.3	89.59	89.54	219	459040
Fashion-MNIST	FastKAN	98.27	89.62	89.60	160	459114
Fashion-MNIST	FasterKAN	94.4	89.39	89.3	157	408224
Fashion-MNIST	EfficientKAN	94.83	89.11	89.04	182	508160
Fashion-MNIST	GottliebKAN	93.79	87.69	87.61	241	219927
Fashion-MNIST	MLP	93.58	88.51	88.44	147	52512
Average of MNIST + Fashion-MNIST	BSRBF-KAN	99.65	93.61	93.57	220.5	459040
Average of MNIST + Fashion-MNIST	FastKAN	99.11	93.50	93.47	131	459114
Average of MNIST + Fashion-MNIST	FasterKAN	96.46	93.39	93.33	125	408224
Average of MNIST + Fashion-MNIST	EfficientKAN	97.09	93.33	93.27	152	508160
Average of MNIST + Fashion-MNIST	GottliebKAN	96.73	92.74	92.68	255	219927
Average of MNIST + Fashion-MNIST	MLP	96.50	93.10	93.05	210	52512

• BSRBF-KANは競争力のある精度を達成し、MNISTとFashion-MNISTの両方で速い収束を示す。
• MNISTでは、BSRBF-KANが最良の実行で訓練精度100%、検証97.63%、F1 97.6に達する。
• 平均化されたMNIST+Fashion-MNISTでは、BSRBF-KANが最も良い全体平均検証93.61%、F1 93.57%を提供する。
• アブレーション研究は、ベース出力とレイヤー正規化が性能の決定的要因であることを示し、両方を除去すると、Fashion-MNISTではMLPに近い性能まで低下するか、それ以下になる。
• GottliebKANはMNISTの検証精度を高めることがあるが、Fashion-MNISTでは不安定である; MLPはFashion-MNISTでKAN系より遅れることが多いが、訓練が最も速い場合がある。
• BSRBF-KANは単一の784-64-10アーキテクチャを用い、報告された実行で平均約220秒と競争力のある訓練時間を提供する。