[論文レビュー] Kolmogorov-Arnold Networks are Radial Basis Function Networks

Ziyao Li|arXiv (Cornell University)|May 10, 2024

Neural Networks and Applications被引用数 38

ひとこと要約

本論文は Kolmogorov-Arnold Networks (KANs) における 3-order B-spline 基底が Gaussian ラジアル基底関数（RBF）により良く近似できることを示しており、精度を維持しつつ RBF ネットワークを用いたより高速な実装（FastKAN）を実現する。

ABSTRACT

This short paper is a fast proof-of-concept that the 3-order B-splines used in Kolmogorov-Arnold Networks (KANs) can be well approximated by Gaussian radial basis functions. Doing so leads to FastKAN, a much faster implementation of KAN which is also a radial basis function (RBF) network.

研究の動機と目的

• KAN をサポートするスプラインベースの基底を Gaussian RBF で表現して単純化する。
• 前方伝搬と後方伝搬の計算を高速化する FastKAN を開発する。
• RBF ベースの FastKAN が KAN と同等の精度を維持できることを示す。
• 速度と精度の改善に関する実証的証拠を提供する。
• 実装のための実用的なガイドとコードを提供する。

提案手法

• KAN の 3-order B-spline 基底を線形変換を介して Gaussian RBF に再活用する。
• 訓練中に入力を RBF ドメイン内に保つためにレイヤー正規化を使用する。
• 効率化のために de Boor–Cox スプライン基底計算を Gaussian RBF 計算に置換する。
• NVIDIA V100 GPU 上で既存の efficient_kan 実装と比較して前方および後方伝搬の速度をベンチマークする。
• MNIST でモデルの精度を評価し FastKAN の同等性または優位性を示す。
• github.com/ZiyaoLi/fast-kan にコードを提供する。

Figure 1: Under proper linear transformations, Gaussian RBFs well approximate 3-order B-spline bases with good precision.

実験結果

リサーチクエスチョン

• RQ1 KAN の 3-order B-spline 基底は Gaussian RBF で正確に近似できるか？
• RQ2 KAN で B-splines を Gaussian RBF に置換すると、精度を損なうことなく高速な実装になるか？
• RQ3 FastKAN は前方および後方伝搬時間で efficient_kan のベースラインと比べてどうか？
• RQ4 FastKAN アプローチは標準ベンチマーク（例: MNIST）で実践的に有効か？

主な発見

実装	Fwd. (μs)	Fwd. acc.	Fwd. + Bwd. (μs)	Fwd. + Bwd. acc.
efficient_kan	742 ± 186	1.00	1160 ± 18.8	1.00
FastKAN	223 ± 19	3.33	925 ± 13.6	1.25

• FastKAN は検証セットで efficient_kan に対して前方計算を 3.33x 高速化する。
• Forward のみおよび Forward + Backward を含むタイミングは、FastKAN がベースラインよりも速いことを示す（Fwd. 223 μs vs 742 μs; Fwd. + Bwd. 925 μs vs 1160 μs）。
• FastKAN は MNIST の訓練で KAN と同等またはそれを上回る精度を達成する。
• 3-order B-splines の Gaussian RBF による近似は、性能を損なうことなくより単純で効率的な実装を可能にする。
• レイヤー正規化は訓練中に入力を RBF ドメイン内に維持するのに役立つ。

Figure 2: Curves of validation accuracy along training on MNIST.