[論文レビュー] Finite basis Kolmogorov-Arnold networks: domain decomposition for data-driven and physics-informed problems

Amanda A. Howard, Bruno Jacob+3 more|arXiv (Cornell University)|Jun 28, 2024

Model Reduction and Neural Networks被引用数 15

ひとこと要約

FBKANsを導入する。データ駆動および物理情報に基づく問題の精度と並列性を向上させるために、複数の小さな Kolmogorov-Arnold networks を並列に学習させるドメイン分解アプローチである。

ABSTRACT

Kolmogorov-Arnold networks (KANs) have attracted attention recently as an alternative to multilayer perceptrons (MLPs) for scientific machine learning. However, KANs can be expensive to train, even for relatively small networks. Inspired by finite basis physics-informed neural networks (FBPINNs), in this work, we develop a domain decomposition method for KANs that allows for several small KANs to be trained in parallel to give accurate solutions for multiscale problems. We show that finite basis KANs (FBKANs) can provide accurate results with noisy data and for physics-informed training.

研究の動機と目的

• 科学計算のための解釈可能な代替手段として、Kolmogorov-Arnold networks (KANs) の利用を動機づけ、分析する。MLPs の代替として。
• 有限基底・ドメイン分解アーキテクチャ（FBKAN）を開発して、マルチスケール問題とノイズデータの精度を向上させる。
• FBKANs がデータ駆動トレーニングモードと物理情報を用いたトレーニングモードの双方で動作できることを示す。
• FBKANs が既存のPINNの改善やドメイン分解技術と互換性があることを示す。

提案手法

• 訓練可能な活性化関数（スプラインベース）とB-spline/基底表現を用いたKANフレームワークを定義する。
• 重なりを持つサブドメイン間で局所的なKANを結合するために、partition-of-unityに基づくドメイン分解（FBKAN）を導入する。
• データ駆動項と物理情報項を含むトレーニング損失を定式化し、全体損失はpartition-of-unity重みを介してサブドメイン出力を統合する。
• 各サブドメインのグリッド設計と局所KANの構築・結合プロセスを説明する。
• Jaxベースのフレームワーク内での実装を議論し、単純さのためにサブドメインごとに固定ハイパーパラメータを維持する。

実験結果

リサーチクエスチョン

• RQ1 有限基底KANが、多重スケールかつノイジーなデータ問題で標準KANより高い精度を達成できるか？
• RQ2 FBKANsによるドメイン分解は、データ駆動およびPINN設定で並列トレーニングを可能にし、安定収束を維持できるか？
• RQ3 KANベースのモデルにおける微細スケール特徴を捉える際、グリッド拡張戦略と固定グリッド戦略はどう比較されるか？
• RQ4 FBKANsは、PINNの既存の強化やKANの変種（例：残差重み、DeepONet、cKANs）との互換性があり、性能をさらに向上させることができるか？
• RQ5 サブドメインを増やすことが相対誤差とトレーニング効率に与える影響はどのようか？

主な発見

• FBKANsは、マルチスケールでノイズのあるデータ問題において、 plain KANs より精度を向上させる。
• Partition-of-unity domain decomposition enables training of multiple small KANs in parallel without enforcing transmission conditions.
• Grid-extension strategies in FBKANs can match or outperform fixed-grid approaches with far fewer grid points, enhancing efficiency.
• FBKANs show strong performance in physics-informed problems, achieving lower relative error than KAN counterparts across several test cases and settings.
• FBKANs retain compatibility with various PINN enhancements and can be extended to multilevel schemes for global communication between subdomains.