[論文レビュー] KAN 2.0: Kolmogorov-Arnold Networks Meet Science

Ziming Liu, Pingchuan Ma+3 more|arXiv (Cornell University)|Aug 19, 2024

Cognitive Computing and Networks被引用数 48

ひとこと要約

KAN 2.0は Kolmogorov-Arnold Networks に乗算と科学情報に基づく能力を加え、特徴を識別し、モジュラー構造を明らかにし、記号的な式を抽出することで、科学に導かれた発見とKANからの知識抽出を可能にします。

ABSTRACT

A major challenge of AI + Science lies in their inherent incompatibility: today's AI is primarily based on connectionism, while science depends on symbolism. To bridge the two worlds, we propose a framework to seamlessly synergize Kolmogorov-Arnold Networks (KANs) and science. The framework highlights KANs' usage for three aspects of scientific discovery: identifying relevant features, revealing modular structures, and discovering symbolic formulas. The synergy is bidirectional: science to KAN (incorporating scientific knowledge into KANs), and KAN to science (extracting scientific insights from KANs). We highlight major new functionalities in the pykan package: (1) MultKAN: KANs with multiplication nodes. (2) kanpiler: a KAN compiler that compiles symbolic formulas into KANs. (3) tree converter: convert KANs (or any neural networks) to tree graphs. Based on these tools, we demonstrate KANs' capability to discover various types of physical laws, including conserved quantities, Lagrangians, symmetries, and constitutive laws.

研究の動機と目的

• Kolmogorov-Arnold Networks (KANs) を科学知識と発見タスクと統合することにより、AI と科学を橋渡しする。
• KAN から重要な特徴、モジュラー構造、記号式を識別することで、解釈可能な科学的発見を可能にする。
• KAN の表現力を拡張し、科学的洞察を抽出するためのツール（MultKAN、kanpiler、tree converter）を提供する。

提案手法

• MultKAN を導入して、KAN における乗算を加算とともに明示的に含めるよう MultKAN を導入する。
• 記号式を KAN に変換し、データ上での微調整を可能にする kanpiler を開発する。
• KAN（および他のネットワーク）をモジュール分析のための木構造グラフに変換するツリー変換器を提案する。
• 重要な特徴、モジュラー構造、記号式を通じて科学に触発された帰納的バイアスをKANに組み込む。
• 重要な特徴、モジュラー構造、記号式の識別を含む、KANから知識を抽出する方法を提案する。

Figure 1: Synergizing science and the Kolmogorov-Arnold Network (KAN).

実験結果

リサーチクエスチョン

• RQ1 KAN をどのように拡張して乗算を明示的に含め、解釈性と容量を向上させられるか？
• RQ2 事前の科学知識をKANに組み込んで、好奇心主導の発見を支援するにはどうすればよいか？
• RQ3 訓練済みのKANから科学的洞察（特徴、モジュラリティ、記号式）をどのように抽出できるか？
• RQ4 KAN はデータから保存量、対称性、ラグランジュ、または構成法則を発見できるか？
• RQ5 KANにおけるモジュラー構造と記号的構造を最もよく明らかにし、活用するツールは何か？

主な発見

• 乗算を含むよう拡張されたKANs（MultKAN）は乗算的な構造を明らかにし、適切なアーキテクチャで簡単な乗算を学習できる。
• KANは重要な特徴、モジュラー構造、記号式を通じて帰納的バイアスを取り込み、解釈性と発見を高めることができる。
• kanpiler は記号式を正確なKAN表現に変換し、その後のデータ駆動の改良を可能にする。
• ツリー変換器はKANおよびニューラルネットワークから階層的モジュラー構造の可視化と抽出を可能にする。
• 提案ツールを用いて保存量、ラグランジアン、対称性、構成法則などの物理法則を発見する方法が示されている。

Figure 2: Top: comparing KAN and MultKAN diagrams. MultKAN has extra multiplication layers $\mathbf{M}$ . Bottom: After training on $f(x,y)=xy$ , KAN learns an algorithm requiring two addition nodes, while MultKAN requires only one multiplication node.