[論文レビュー] GINN-KAN: Interpretability pipelining with applications in Physics Informed Neural Networks

Nisal Ranasinghe, Xia Yu+2 more|arXiv (Cornell University)|Aug 27, 2024

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

GINN-KAN は Growing Interpretable Neural Networks (GINN) と Kolmogorov Arnold Networks (KAN) をエンドツーエンドの微分可能な解釈可能アーキテクチャに統合し、記号方程式の発見を改善し、物理情報を取り入れたニューラルネットワーク（PINN）の解釈性を強化します。Feynman の記号回帰ベンチマークで GINN および KAN を上回り、解釈可能な PINN として統合した場合の PDE 解法性能も向上します。

ABSTRACT

Neural networks are powerful function approximators, yet their ``black-box" nature often renders them opaque and difficult to interpret. While many post-hoc explanation methods exist, they typically fail to capture the underlying reasoning processes of the networks. A truly interpretable neural network would be trained similarly to conventional models using techniques such as backpropagation, but additionally provide insights into the learned input-output relationships. In this work, we introduce the concept of interpretability pipelineing, to incorporate multiple interpretability techniques to outperform each individual technique. To this end, we first evaluate several architectures that promise such interpretability, with a particular focus on two recent models selected for their potential to incorporate interpretability into standard neural network architectures while still leveraging backpropagation: the Growing Interpretable Neural Network (GINN) and Kolmogorov Arnold Networks (KAN). We analyze the limitations and strengths of each and introduce a novel interpretable neural network GINN-KAN that synthesizes the advantages of both models. When tested on the Feynman symbolic regression benchmark datasets, GINN-KAN outperforms both GINN and KAN. To highlight the capabilities and the generalizability of this approach, we position GINN-KAN as an alternative to conventional black-box networks in Physics-Informed Neural Networks (PINNs). We expect this to have far-reaching implications in the application of deep learning pipelines in the natural sciences. Our experiments with this interpretable PINN on 15 different partial differential equations demonstrate that GINN-KAN augmented PINNs outperform PINNs with black-box networks in solving differential equations and surpass the capabilities of both GINN and KAN.

研究の動機と目的

• 解釈性に焦点を当てたニューラルネットワーク（GINN、KAN）を評価し、方程式発見における限界を特定する。
• GINNとKANの長所を統合するGINN-KANを提案・検証し、堅牢な解釈可能なモデリングを実現する。
• PINN内で解釈性に焦点を当てたネットワークを適用し、解釈可能でデータ駆動のPDE解を生成する。
• PDEベンチマークのセットでGINN-KAN強化PINNの性能向上を示す。

提案手法

• 2層のKANブロックへと入力される並列の2つのGINNブロックを用いてGINN-KANアーキテクチャを形成する。
• GINNブロックは並列のpower-term approximation (PTA)ブロックを用いて積項を発見し、p_i = product_j x_j^{w_ij} となる。
• GINNの出力は y = sum_i a_i * p_i、ここで a_i は線形出力ウェイトである。
• KAN は学習された一変数エッジ活性化をライブラリのシンボリック関数（例: sin, log, exp）へマッピングする。
• GINN-KAN 増強 PINN は PINN の標準的なFCを解釈可能な GINN-KAN モジュールに置換し、バックプロパゲーションでエンドツーエンドに訓練する。
• 評価にはテストセットでのMean Squared Error (MSE)とR^2を含む；SRBench風のベンチマークと 15-PDE PINN テストベッド。
• SRのデータセットはLPおよびNon-LPのグラウンドトゥルースを比較し、乗積項を含む。PINNテストは2500のコロケーションポイントとAdam最適化を使用。

実験結果

リサーチクエスチョン

• RQ1 LP/Non-LPのグラウンドトゥルースと乗法項を与えた場合、GINNとKANは個別に解釈可能な方程式を学習できるか。
• RQ2 パイプライン結合（GINN-KAN）は、記号回帰ベンチマークで各コンポーネントを上回るか。
• RQ3 PDEの解法において、GINN-KAN が PINN の解釈性と性能を向上させるか。

主な発見

式	GINN MSE	KAN MSE	GINN-KAN MSE
sin(x1) + x2	1.07E-01	3.90E-04	1.70E-04
sin(x1) + sin(x2)	1.97E-01	5.33E-04	5.66E-05
x1*x2^2	3.55E-09	1.08E-02	5.70E-04
2x1 + 3x2^2 + x1 x2	1.40E-03	4.05E-03	1.41E-02
sin(x1*x2)	4.50E-01	1.21E-01	1.30E-04
sin(x1*x2) + x1	4.48E-01	1.68E-01	9.38E-02
x1*x2^2 + sin(x1)	8.06E-02	1.18E-02	7.76E-03
ln(x1*x2 + x1)	1.48E-05	2.90E-04	5.46E-07

• GINN-KAN は Feynman 記号回帰ベンチマークデータセットで GINN および KAN の双方を上回り、特に乗法項を含む Non-LP 方程式に対して顕著だった。
• LPデータセットでは GINN は良好だが KAN は後れ、Non-LP の乗法を含む場合には GINN-KAN が対戦相手を大きく上回る。
• 15のPDEで、GINN-KAN 増強PINNはより低いMSEを達成し、ブラックボックスネットワーク、GINN、または単独のKANを用いたPINNよりもしばしば良好な性能を示す。
• KAN は表現制約のため乗法項に苦労し、GINN は Non-LP 方程式で苦労する。GINN-KAN は両方の長所を活用する。
• GINN-KAN はLPおよびNon-LP PDEの両方で競争力のある性能を維持し、堅牢で解釈可能な解の発見を示す。