[論文レビュー] Kolmogorov Arnold Informed neural network: A physics-informed deep learning framework for solving forward and inverse problems based on Kolmogorov Arnold Networks

Yizheng Wang, Jia Sun+6 more|arXiv (Cornell University)|Jun 16, 2024

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、偏微分方程式（PDE）の前向きおよび逆問題を解くための物理情報付き深層学習フレームワークであるコルモゴロフ＝アルノルド情報付きニューラルネットワーク（KINN）を提案する。KINNは、従来の多層パーセプトロン（MLP）の代わりにコルモゴロフ＝アルノルドネットワーク（KAN）を採用し、多変数関数の単変数関数への分解と学習可能な活性化関数を活用することで、計算固体力学分野の多様なPDE問題において、優れた精度と収束速度を達成する。ただし、複雑な幾何形状の問題では、MLPと同等の性能にとどまる。

ABSTRACT

AI for partial differential equations (PDEs) has garnered significant attention, particularly with the emergence of Physics-informed neural networks (PINNs). The recent advent of Kolmogorov-Arnold Network (KAN) indicates that there is potential to revisit and enhance the previously MLP-based PINNs. Compared to MLPs, KANs offer interpretability and require fewer parameters. PDEs can be described in various forms, such as strong form, energy form, and inverse form. While mathematically equivalent, these forms are not computationally equivalent, making the exploration of different PDE formulations significant in computational physics. Thus, we propose different PDE forms based on KAN instead of MLP, termed Kolmogorov-Arnold-Informed Neural Network (KINN) for solving forward and inverse problems. We systematically compare MLP and KAN in various numerical examples of PDEs, including multi-scale, singularity, stress concentration, nonlinear hyperelasticity, heterogeneous, and complex geometry problems. Our results demonstrate that KINN significantly outperforms MLP regarding accuracy and convergence speed for numerous PDEs in computational solid mechanics, except for the complex geometry problem. This highlights KINN's potential for more efficient and accurate PDE solutions in AI for PDEs.

研究の動機と目的

• 従来の多層パーセプトロン（MLP）に基づく物理情報付きニューラルネットワーク（PINN）に見られる解釈不能性と高いパラメータ数の問題を解決すること。
• コルモゴロフ＝アルノルドネットワーク（KAN）が、PDEを解く際のMLPのより効率的で解釈可能な代替手段としての可能性を検討すること。
• 強さ、エネルギー、逆問題、弱さの形式という複数のPDE定式化において、MLPベースとKANベースのPINNを、多様な物理的および幾何的条件下で体系的に比較すること。
• 多スケール、特異的、応力集中、非線形ハイパーエラスティック、不均質、複雑な幾何形状の領域を含む、挑戦的な問題におけるKINNの性能を評価すること。
• スケール正規化が、特に大域的PDE問題において解の安定性と収束性に与える影響を調査すること。

提案手法

• PINNの全結合層をKANに置き換えることで、新規フレームワーク「コルモゴロフ＝アルノルド情報付きニューラルネットワーク（KINN）」を提案。KANは固定された活性化関数ではなく、学習可能な単変数関数を用いる。
• コルモゴロフ＝アルノルド表現定理を用いて、多変数関数を単変数関数の和に分解し、より効率的で解釈可能な関数近似を可能にする。
• KANにおける学習可能な活性化関数の構築にBスプラインを採用し、代替としてチェビシェフ多項式、径路基底関数、ウェーブレットを検討。
• KANフレームワーク内で強さ、エネルギー（DEM）、逆問題（BINN）、弱さ（hp-VPINN）の複数のPDE形式を適用し、計算的同等性と効率性を評価。
• 空間座標を $ \frac{\mathbf{x}}{L} $ でスケーリングすることでスケール正規化を導入し、微分における大きな勾配の影響を軽減し、学習安定性を向上させる。
• PDEの残差、境界条件、およびエネルギー形式では変分エネルギー最小化を統合した統一損失関数を用いてKINNモデルを学習。

実験結果

リサーチクエスチョン

• RQ1 KANベースのニューラルネットワークは、計算固体力学分野の前向きおよび逆問題において、従来のMLPベースのPINNを上回る性能を示すか？
• RQ2 KANにおける学習可能な単変数活性化関数の使用は、MLPの固定活性化関数と比較して、収束速度と解の精度にどのような影響を及えるか？
• RQ3 KINNフレームワークは、強さ、エネルギー、逆問題、弱さの形式という多様なPDE定式化においても優れた性能を維持するか、それとも選択された定式化に敏感か？
• RQ4 スケール正規化は、大域的PDE問題におけるKINN解の安定性と精度にどのように影響を及えるか？
• RQ5 多スケール、特異的、あるいは複雑な幾何形状の問題において、KINNはMLPベースのPINNと比較して、どのような特長的利点や制限を示すか？

主な発見

• KINNは、多スケール、特異的、応力集中、非線形ハイパーエラスティック、不均質材料問題を含む、多数のPDE問題において、MLPベースのPINNよりも顕著に優れた解の精度と収束速度を達成する。
• KINNの性能向上は、MLPの固定活性化関数と比較して、より少ないパラメータでより優れた関数近似を可能にするKANの学習可能な活性化関数に起因する。
• 特徴的なサイズが大きな問題では、スケール正規化が不可欠である：$ x \cdot \partial_x \phi $ 項のため、座標微分が無制限に増大し、不安定な勾配と収束不良を引き起こす可能性がある。
• スケール正規化を適用することで、KINNは安定した学習と高精度な解を維持でき、解はドメインサイズに線形にスケーリングされ、物理的一致性が保たれる。
• 複雑な幾何形状の問題では、KINNはMLPと同等の性能を示すため、幾何的複雑性がKANの利点を制限する可能性がある。
• エネルギー形式（DEM）のKINNは、特にスケール正規化を組み合わせた場合、変分的エネルギー最小化の性質のおかげで特に頑健であることが示された。