[論文レビュー] KAN-ODEs: Kolmogorov-Arnold Network Ordinary Differential Equations for Learning Dynamical Systems and Hidden Physics

Benjamin C. Koenig, Suyong Kim+1 more|arXiv (Cornell University)|Jul 5, 2024

Neural Networks and Applications被引用数 8

ひとこと要約

KAN-ODEsは Kolmogorov-Arnold ネットワークを勾配取得器として Neural ODEs に組み込み、隠れた物理を持つダイナミクスを学習し、複数のダイナミック問題において高い精度・効率・解釈性を実現します。

ABSTRACT

Kolmogorov-Arnold networks (KANs) as an alternative to multi-layer perceptrons (MLPs) are a recent development demonstrating strong potential for data-driven modeling. This work applies KANs as the backbone of a neural ordinary differential equation (ODE) framework, generalizing their use to the time-dependent and temporal grid-sensitive cases often seen in dynamical systems and scientific machine learning applications. The proposed KAN-ODEs retain the flexible dynamical system modeling framework of Neural ODEs while leveraging the many benefits of KANs compared to MLPs, including higher accuracy and faster neural scaling, stronger interpretability and generalizability, and lower parameter counts. First, we quantitatively demonstrated these improvements in a comprehensive study of the classical Lotka-Volterra predator-prey model. We then showcased the KAN-ODE framework's ability to learn symbolic source terms and complete solution profiles in higher-complexity and data-lean scenarios including wave propagation and shock formation, the complex Schrödinger equation, and the Allen-Cahn phase separation equation. The successful training of KAN-ODEs, and their improved performance compared to traditional Neural ODEs, implies significant potential in leveraging this novel network architecture in myriad scientific machine learning applications for discovering hidden physics and predicting dynamic evolution.

研究の動機と目的

• 解釈性と効率的な学習の必要性を伴うデータ駆動型ダイナミクス系モデリングを動機づける。
• KANsを勾配評価器として Neural ODEs 内で用いるフレームワーク（KAN-ODEs）を提案する。
• 従来の Neural ODEs と比較して精度・効率・解釈性の改善を示す。
• Lotka-Volterra ダイナミクスや高次元 PDEs/量子モデルに適用し、スパース化とシンボリック回帰を含む手法を紹介する。

提案手法

• 系のダイナミクスを du/dt = KAN(u(t), theta) と表現し、KAN を ODE ソルバー内の勾配取得器として機能させる。
• KANsを Kolmogorov-Arnold 表現に基づき、学習可能な一変数基底活性化（RBF ベース）と Swish 残差活性化を用いて定義する。
• adjoint センシティビティ法を用いて ODE ソルバーを通して逆伝播し、 theta を更新する。
• 微分可能な ODE積分器とKANsを結合し、任意のグリッド上で時系列連続な状態軌道を得る。
• スパース化と剪定を取り入れてコンパクトで解釈可能なKANsを得るとともに、シンボリック回帰を適用して人間読可能な活性化関数やグローバルなシンボリック形式を得る。

実験結果

リサーチクエスチョン

• RQ1 KAN-ODEs は動的システム全般において標準的な Neural ODEs より精度と学習効率で上回ることができるか？
• RQ2 KAN-ODEs は限られたデータからの汎化を改善し、学習したダイナミクスの解釈可能で潜在的にシンボリックな表現を提供するか？
• RQ3 スパース化とシンボリック回帰は予測性能を犠牲にすることなく、コンパクトで解釈可能なモデルを生み出せるか？
• RQ4 KAN-ODEs は PDEs や量子ダイナミクスにおける源項の学習や完全解のサブモデルとして有効か？

主な発見

• KAN-ODEs はデータ適合性能を高め、Lotka-Volterra 系に対して同程度の Neural ODEs より学習の収束を速くさせることができる。
• KAN-ODEs はスパースな学習データから完全な時系列プロファイルを再構築し、未知の時刻へ一般化する能力を示す。
• KAN-ODEs によるKAN のスケーリングは、同等の MLP に対して四次収束（四次数）優位性を持ち、少ないパラメータで高い精度を実現する。
• スパース化と剪定はモデルサイズを大幅に削減しつつ汎化を改善し、学習したダイナミクスのシンボリック表現を有効にする。
• スパースなKANに対するシンボリック回帰は、実用的な解釈性を示す、真の Lotka-Volterra パラメータに密接に一致するコンパクトで解釈可能な式を生み出す。