[论文解读] KAN 2.0: Kolmogorov-Arnold Networks Meet Science

Ziming Liu, Pingchuan Ma+3 more|arXiv (Cornell University)|Aug 19, 2024

Cognitive Computing and Networks被引用 48

一句话总结

KAN 2.0 在 Kolmogorov-Arnold Networks 中通过乘法和科学信息驱动的能力来识别特征、揭示模块化结构，并提取符号公式，从而实现对 KANs 的科学引导发现和知识提取。

ABSTRACT

A major challenge of AI + Science lies in their inherent incompatibility: today's AI is primarily based on connectionism, while science depends on symbolism. To bridge the two worlds, we propose a framework to seamlessly synergize Kolmogorov-Arnold Networks (KANs) and science. The framework highlights KANs' usage for three aspects of scientific discovery: identifying relevant features, revealing modular structures, and discovering symbolic formulas. The synergy is bidirectional: science to KAN (incorporating scientific knowledge into KANs), and KAN to science (extracting scientific insights from KANs). We highlight major new functionalities in the pykan package: (1) MultKAN: KANs with multiplication nodes. (2) kanpiler: a KAN compiler that compiles symbolic formulas into KANs. (3) tree converter: convert KANs (or any neural networks) to tree graphs. Based on these tools, we demonstrate KANs' capability to discover various types of physical laws, including conserved quantities, Lagrangians, symmetries, and constitutive laws.

研究动机与目标

• 通过将 Kolmogorov-Arnold Networks (KANs) 与科学知识和发现任务相结合，桥接人工智能与科学。
• 通过从 KANs 中识别重要特征、模块化结构和符号公式，促进可解释的科学发现。
• 提供工具（MultKAN、kanpiler、tree converter）以扩展 KAN 的表达能力并提取科学洞见。

提出的方法

• 引入 MultKAN，明确在 KANs 中将乘法与加法并列包含。
• 开发 kanpiler，将符号公式转换为 KANs，并允许随后在数据上进行微调。
• 提出 tree converter，将 KANs（及其他网络）转换为用于模块化分析的树状图。
• 通过重要特征、模块化结构和符号公式将科学启发式的归纳偏置融入 KANs。
• 提出从 KANs 中提取知识的方法，包括识别重要特征、模块化结构和符号公式。

Figure 1: Synergizing science and the Kolmogorov-Arnold Network (KAN).

实验结果

研究问题

• RQ1 如何增强 KANs 以显式包含乘法，从而提升可解释性和能力？
• RQ2 如何将先验科学知识嵌入 KANs，以促进好奇心驱动的发现？
• RQ3 如何从训练好的 KANs 中提取科学洞见（特征、模块化、符号公式）？
• RQ4 KANs 能否从数据中发现守恒量、对称性、作用量、或本构定律？
• RQ5 哪些工具最有效揭示并利用 KANs 中的模块化和符号结构？

主要发现

• 通过乘法扩展的 KANs（MultKAN）揭示了乘法结构，并且在合适的架构下可以学习简单的乘法。
• KANs 可以通过重要特征、模块化结构和符号公式来融入归纳偏置，以提升可解释性和发现能力。
• kanpiler 可以将符号公式转换为精确的 KAN 表示，从而实现后续的数据驱动微调。
• tree converter 能够从 KANs 和神经网络中实现层级模块结构的可视化和提取。
• 利用所提出的工具演示了发现物理定律的方法，如守恒量、拉格朗日、对称性和本构定律。

Figure 2: Top: comparing KAN and MultKAN diagrams. MultKAN has extra multiplication layers $\mathbf{M}$ . Bottom: After training on $f(x,y)=xy$ , KAN learns an algorithm requiring two addition nodes, while MultKAN requires only one multiplication node.