[論文レビュー] On the expressiveness and spectral bias of KANs

Yixuan Wang, Jonathan W. Siegel+2 more|arXiv (Cornell University)|Oct 2, 2024

User Authentication and Security Systems被引用数 4

ひとこと要約

この論文は、Kolmogorov-Arnold Network（KAN）と多層パーセプトロン（MLP）を理論的・実験的に比較し、KANが表現力に優れ、周波数バイアスが著しく低いことを示している。KANはスプラインに基づく学習可能な活性化関数を備えるため、高周波数関数や偏微分方程式（PDE）の学習においてよりバランスの取れた周波数学習が可能となり、優れた性能を発揮する。

ABSTRACT

Kolmogorov-Arnold Networks (KAN) \cite{liu2024kan} were very recently proposed as a potential alternative to the prevalent architectural backbone of many deep learning models, the multi-layer perceptron (MLP). KANs have seen success in various tasks of AI for science, with their empirical efficiency and accuracy demostrated in function regression, PDE solving, and many more scientific problems. In this article, we revisit the comparison of KANs and MLPs, with emphasis on a theoretical perspective. On the one hand, we compare the representation and approximation capabilities of KANs and MLPs. We establish that MLPs can be represented using KANs of a comparable size. This shows that the approximation and representation capabilities of KANs are at least as good as MLPs. Conversely, we show that KANs can be represented using MLPs, but that in this representation the number of parameters increases by a factor of the KAN grid size. This suggests that KANs with a large grid size may be more efficient than MLPs at approximating certain functions. On the other hand, from the perspective of learning and optimization, we study the spectral bias of KANs compared with MLPs. We demonstrate that KANs are less biased toward low frequencies than MLPs. We highlight that the multi-level learning feature specific to KANs, i.e. grid extension of splines, improves the learning process for high-frequency components. Detailed comparisons with different choices of depth, width, and grid sizes of KANs are made, shedding some light on how to choose the hyperparameters in practice.

研究の動機と目的

• KANの近似および表現能力をMLPと比較して理論的に分析すること。
• 科学的機械学習の文脈において、KANとMLPの周波数バイアス現象を調査すること。
• KANが高周波数関数の解法やPDEの解法において観察された成功を、理論的・実験的根拠で裏付けること。
• 深さ、幅、グリッドサイズの影響を調査することで、KANのハイパーパrameter選定を支援すること。
• KANが過学習に陥りやすい理由を説明し、グリッドの粗さを調整することでこれを緩和できるかを明らかにすること。

提案手法

• 任意のReLU活性化を用いたMLPを、同等のパラメータ数を持つKANに再パrameter化できることを証明し、KANの表現力がMLPと同等以上であることを確立する。
• KANをMLPで表現する構成を構築し、パラメータ数がKANのグリッドサイズに比例する要因で増加することを示す。
• 単一のKAN層における勾配降下法のダイナミクスを分析し、KANが低周波数に強い周波数バイアスを示さないことを主張する。
• 1次元周波数適合、ガウス確率場、高周波数解を有する1次元ポアソン方程式に対する数値実験を通じて、周波数バイアスと一般化性能を比較する。
• KANにおけるグリッド拡張を用いてスプライン近似を精緻化し、高周波数成分の学習を向上させる。
• 合成データおよびPDEデータセットに対して、平均二乗誤差損失関数を用いたLBFGS最適化を適用し、アーキテクチャおよびハイパーパrameterごとの学習およびテスト性能を評価する。

Figure 1 : 1D wave dataset, where the target function has equal amplitudes of different frequency modes. Under various hyperparameters, MLPs manifest strong spectral biases (top), while KANs do not (bottom). Note that the y axis (training steps) of MLP is 10 times that of KAN.

実験結果

リサーチクエスチョン

• RQ1 KANは、MLPが近似可能な任意の関数を、同等のパラメータ効率で近似可能か？
• RQ2 トレーニング中におけるKANの周波数バイアスは、標準的なMLPと比べてどう異なるか？
• RQ3 KANにおけるグリッド拡張は、高周波数成分の学習をどの程度向上させるか？
• RQ4 KANが過学習を強く示す理由は何か？ そして、ハイパーパrameterチューニングにより、この問題をどのように緩和できるか？
• RQ5 KANにおける周波数バイアスの低減は、高周波数PDEの解法などの科学的計算タスクにおいて、性能向上に寄与するか？

主な発見

• KANは、同等のパラメータ数で任意のReLU活性化を用いたMLPを表現可能であり、KANの表現力がMLPと同等以上であることを示している。
• 逆に、KANをMLPで表現するには、KANのグリッドサイズに比例する要因でパラメータ数が増加するため、大きなグリッドを持つKANでは効率的である可能性がある。
• 単一のKAN層における勾配降下法の理論的分析から、KANはMLPとは異なり、低周波数に強い周波数バイアスを示さないことが示された。
• 実験的結果から、KANは高周波数関数の回帰やPDEの解法において、周波数が高くなるほどMLPを常に上回ることが確認された。
• KANはノイズが多いまたは複雑なデータでは過学習しやすいが、グリッドの粗さを調整することで周波数バイアスを増加させ、過学習を軽減できる。
• 訓練データ量の増加によりKANの過学習が顕著に減少し、グリッド拡張により粗い関数や低スケール関数の性能が向上することが観察された。

Figure 2 : 1D wave dataset, where the target function has increasing amplitudes of different frequency modes. Under various hyperparameters, MLPs manifest severe spectral biases (top), while KANs do not (bottom). Note that the y axis (training steps) of MLP is 10 times that of KAN.