[论文解读] Kolmogorov Arnold Informed neural network: A physics-informed deep learning framework for solving forward and inverse problems based on Kolmogorov Arnold Networks

Yizheng Wang, Jia Sun+6 more|arXiv (Cornell University)|Jun 16, 2024

Neural Networks and Applications被引用 4

一句话总结

本文提出柯尔莫哥洛夫-阿诺尔德信息神经网络（KINN），一种物理信息深度学习框架，用柯尔莫哥洛夫-阿诺尔德网络（KANs）替代传统多层感知机（MLPs），以求解偏微分方程（PDEs）中的前向与反向问题。KINN 利用 KAN 的可学习激活函数和单变量函数分解能力，在计算固体力学中的各类 PDE 问题中实现了更优的精度与更快的收敛速度，但在复杂几何问题中性能与 MLP 相当。

ABSTRACT

AI for partial differential equations (PDEs) has garnered significant attention, particularly with the emergence of Physics-informed neural networks (PINNs). The recent advent of Kolmogorov-Arnold Network (KAN) indicates that there is potential to revisit and enhance the previously MLP-based PINNs. Compared to MLPs, KANs offer interpretability and require fewer parameters. PDEs can be described in various forms, such as strong form, energy form, and inverse form. While mathematically equivalent, these forms are not computationally equivalent, making the exploration of different PDE formulations significant in computational physics. Thus, we propose different PDE forms based on KAN instead of MLP, termed Kolmogorov-Arnold-Informed Neural Network (KINN) for solving forward and inverse problems. We systematically compare MLP and KAN in various numerical examples of PDEs, including multi-scale, singularity, stress concentration, nonlinear hyperelasticity, heterogeneous, and complex geometry problems. Our results demonstrate that KINN significantly outperforms MLP regarding accuracy and convergence speed for numerous PDEs in computational solid mechanics, except for the complex geometry problem. This highlights KINN's potential for more efficient and accurate PDE solutions in AI for PDEs.

研究动机与目标

• 为解决基于多层感知机（MLPs）的传统物理信息神经网络（PINNs）在可解释性差和参数量过高方面的局限性。
• 探索柯尔莫哥洛夫-阿诺尔德网络（KANs）作为求解 PDE 时 MLP 的更高效、更可解释的替代方案的潜力。
• 系统比较基于 MLP 和基于 KAN 的 PINNs 在多种 PDE 形式（强形式、能量形式、反向问题、弱形式）下的表现，涵盖多样的物理与几何条件。
• 评估 KINN 在多尺度、奇异性、应力集中、非线性超弹性、非均质及复杂几何域等挑战性问题中的性能。
• 研究尺度归一化对大域 PDE 问题中解的稳定性与收敛性的影响。

提出的方法

• 提出一种新框架——柯尔莫哥洛夫-阿诺尔德信息神经网络（KINN），通过用 KAN 替代 PINNs 中的全连接层，采用可学习的单变量函数替代固定激活函数。
• 利用柯尔莫哥洛夫-阿诺尔德表示定理，将多变量函数分解为单变量函数之和，实现更高效且可解释性更强的函数逼近。
• 采用 B 样条构建 KAN 中的可学习激活函数，并探索使用切比雪夫多项式、径向基函数和小波等替代变体。
• 在 KAN 框架中应用多种 PDE 形式——强形式、能量形式（DEM）、反向问题形式（BINN）和弱形式（hp-VPINN），以评估计算等价性与效率。
• 通过 $ \frac{\mathbf{x}}{L} $ 对空间坐标进行尺度归一化，其中 $ L $ 为特征尺寸，以缓解导数中大梯度的影响，提升训练稳定性。
• 采用统一损失函数，结合 PDE 残差、边界条件，以及在能量形式中加入变分能量最小化，以训练 KINN 模型。

实验结果

研究问题

• RQ1 基于 KAN 的神经网络是否能在计算固体力学的前向与反向 PDE 问题求解中超越传统基于 MLP 的 PINNs？
• RQ2 与 MLP 中固定的激活函数相比，KAN 中可学习的单变量激活函数如何影响收敛速度与解的精度？
• RQ3 KINN 框架在不同 PDE 形式（强形式、能量形式、反向问题、弱形式）中是否均保持优越性能，还是性能对所选形式敏感？
• RQ4 尺度归一化如何影响 KINN 在大域 PDE 问题中解的稳定性和精度？
• RQ5 在多尺度、奇异性或复杂几何等问题中，KINN 相较于基于 MLP 的 PINNs 是否表现出特定优势或局限性？

主要发现

• KINN 在大多数 PDE 问题中，包括多尺度、奇异性、应力集中、非线性超弹性及非均质材料问题中，显著优于基于 MLP 的 PINNs，表现在解的精度更高、收敛速度更快。
• KINN 的性能提升归因于 KAN 的可学习激活函数，其在更少参数下实现了更优的函数逼近能力，优于 MLP 中的固定激活函数。
• 在特征尺寸较大的问题中，尺度归一化至关重要：若无归一化，$ x \cdot \partial_x \phi $ 项会导致坐标导数无界增长，引发不稳定梯度与收敛性差。
• 在尺度归一化下，KINN 保持训练稳定与解的高精度，且解的规模与域大小呈线性关系，维持了物理一致性。
• 在复杂几何问题中，KINN 与 MLP 表现相当，表明几何复杂性可能限制 KAN 在此类情况下的优势。
• KINN 的能量形式（DEM）表现出特别强的鲁棒性，尤其在结合尺度归一化时，得益于能量最小化的变分本质。