[論文レビュー] rKAN: Rational Kolmogorov-Arnold Networks

Alireza Afzal Aghaei|arXiv (Cornell University)|Jun 20, 2024

Cognitive Computing and Networks被引用数 16

ひとこと要約

本論文は Kolmogorov-Arnold Networks (rKAN) の有理基底実装を2つ提案：Padé近似と有理 Jacobi マッピング、これらを回帰、MNIST分類、物理情報付き微分方程式の評価で検証する。

ABSTRACT

The development of Kolmogorov-Arnold networks (KANs) marks a significant shift from traditional multi-layer perceptrons in deep learning. Initially, KANs employed B-spline curves as their primary basis function, but their inherent complexity posed implementation challenges. Consequently, researchers have explored alternative basis functions such as Wavelets, Polynomials, and Fractional functions. In this research, we explore the use of rational functions as a novel basis function for KANs. We propose two different approaches based on Pade approximation and rational Jacobi functions as trainable basis functions, establishing the rational KAN (rKAN). We then evaluate rKAN's performance in various deep learning and physics-informed tasks to demonstrate its practicality and effectiveness in function approximation.

研究の動機と目的

• 伝統的なKANの制約を動機づけ、それを克服するために有理基底関数を用いてより良い関数近似と漸近挙動の取り扱いを実現する。
• Padéベースの有理関数と写像された有理Jacobi関数という、2つの具体的なrKANアーキテクチャを開発する。
• 合成回帰タスク、MNIST分類、物理情報を含む微分方程式の問題におけるrKANの性能を評価する。
• 既存のKAN系変種や基準活性化関数と比較し、実用的な妥当性を確立する。

提案手法

• KANの有理基底関数を2つのアプローチで定義する。1つはJacobi由来多項式の比を用いたPadé近似で、訓練可能な係数を含む。もう1つはJacobi多項式を有限領域または無限領域へ写像して得られる有理Jacobi関数。
• Padé-rKANでは、φ_{q,k}(ξ) = (sum_{i=0}^{k} θ^e_i R^{(α,β)}_i(ξ_q)) / (sum_{i=0}^{p} θ^d_i R^{(α,β)}_i(ξ_q)）、ξの入力は activate σ(·) によって有界化され、α,β,ι のハイパーパラメータを最適化可能である。
• Jacobi-rKANでは、φ_{q,k}(ξ) = J^{(α,β)}_k(φ(ξ_q))、ここで φ は非線形有理マッピング（有限/半無限/無限領域）であり、SoftPlus が訓練可能な ι を制御して正値性を確保する。
• Kolmogorov-Arnoldネットワークの枠組みに φ 関数を組み込み、F(ξ) = sum_{k=1}^K ψ_k(sum_{q=1}^ν φ_{q,k}(σ(ξ_q)))、ここで ψ_k は線形である。
• φ(·) を写像Jacobi関数として使用する場合、分数次数 γ を持つ正の領域へ入力を写像するよう制約することで、分数有理KAN variant を調査する。
• Lane-Emden 常微分方程とポアソン型偏微分方程を含む物理情報付き深層学習タスク、およびCNNバックボーンを用いたMNIST分類、回帰タスクで評価する。

(a) Finite mapping

実験結果

リサーチクエスチョン

• RQ1 KAN内の有理基底関数は、漸近挙動や特異性を持つ関数の近似を、従来のKAN系と比べて改善できるか。
• RQ2 Padéベースと写像Jacobiベースの rKAN は、回帰・分類・物理情報付き問題全体で精度と学習の複雑さの点でどう比較されるか。
• RQ3 最適化中のモデル性能と安定性に対するハイパーパラメータα、β、および写像/ι の影響はどの程度か。
• RQ4 rKANはLane-Emden や楕円型 PDE のような微分方程式を解く物理情報付きニューラルネットワークにおいて、実用的な利点を提供するか。

主な発見

• rKAN系は、さまざまな K 値で fKAN、Jacobi-rKAN、標準KAN と比較して、合成回帰タスクのMSEが競争力があるか優れる水準に達する。F1, F2, F3で。
• MNISTでは、Jacobi-rKAN および複数の K を用いた rKAN が高い精度を達成（例: rKAN(5) で 99.293% に達する場合も）し、ベースラインや一部の fKAN 構成より良好な損失を示す。
• 物理情報付きのテストでは、Jacobi-rKANとPadé-rKANが Lane-Emden 問題で小さな第一根誤差を示し、一部のGEPINN構成より同等以下または優れた残差を示す。Table 5に具体的な値が報告されている。
• 4層 Jacobi-rKAN を用いた楕円 PDE の近似は、解釈可能な残差を伴う合理的な予測を達成し、PDEへの適用性を示す。
• Padé-rKAN は精度を向上させることができるが、多項式計算により訓練時間が増加するため、精度と効率のトレードオフを強調している。
• このアプローチは適切な文脈で分数KANとの統合をサポートし、問題領域を横断する柔軟性を示す。

(b) Logarithmic mapping $(0,\infty)$