[論文レビュー] Deep Learning and Symbolic Regression for Discovering Parametric Equations

Michael Zhang, Samuel Kim+2 more|arXiv (Cornell University)|Jul 1, 2022

Model Reduction and Neural Networks被引用数 6

ひとこと要約

本論文は、係数が変化するパラメトリック方程式を発見するための深層学習フレームワークを提案する。2つの新規アーキテクチャ—スタックドEQL（SEQL）とハイパーエルエヌ（HEQL）—を用いて、データから解釈可能な数学的式を学習する。この手法は、空間的に変化する係数を伴う複雑なパラメトリック方程式や偏微分方程式（PDE）を高い精度で発見でき、学習領域を超えての一般化性能も優れている。

ABSTRACT

Symbolic regression is a machine learning technique that can learn the governing formulas of data and thus has the potential to transform scientific discovery. However, symbolic regression is still limited in the complexity and dimensionality of the systems that it can analyze. Deep learning on the other hand has transformed machine learning in its ability to analyze extremely complex and high-dimensional datasets. We propose a neural network architecture to extend symbolic regression to parametric systems where some coefficient may vary but the structure of the underlying governing equation remains constant. We demonstrate our method on various analytic expressions, ODEs, and PDEs with varying coefficients and show that it extrapolates well outside of the training domain. The neural network-based architecture can also integrate with other deep learning architectures so that it can analyze high-dimensional data while being trained end-to-end. To this end we integrate our architecture with convolutional neural networks to analyze 1D images of varying spring systems.

研究の動機と目的

• 複雑で高次元のシステムに係数が変化する場合に対応できない記号的回帰の限界を解消すること。
• 方程式の構造は一定だが係数が変化するパラメトリック方程式に、深層学習ベースの記号的回帰を拡張すること。
• データから解釈可能な数学的式（偏微分方程式（PDE）を含む）を発見できる、エンドツーエンドで学習可能なニューラルアーキテクチャを開発すること。
• パラメトリックシステムにおいて、学習領域を超えて一般化・外挿できるようにすること。
• 畳み込みネットワークなどの深層学習エンコーダーと統合し、スプリングシステムの1次元画像など高次元データの解析を可能にすること。

提案手法

• 係数が変化する複雑なパラメトリック方程式をモデル化するため、複数のEQLモジュールをスタックするスタックドEQL（SEQL）アーキテクチャを提案する。
• 入力パラメータに基づいて記号的式の係数を生成するハイパーネットワークを用いるハイパーエルエヌ（HEQL）アーキテクチャを導入する。
• 全結合ネットワークの活性化関数を、+、*、sin、x²などの原始関数に置き換える微分可能で記号的回帰フレームワークを採用する。
• バックプロパゲーションを用いて、記号的構造と係数関数の両方を同時に最適化できる、エンドツーエンドの学習を実現する。
• 高次元入力データ（例：スプリングシステムの1次元画像）を処理するため、記号的回帰ヘッドに接続する畳み込みエンコーダーを統合する。
• 予測値と真値の間の平均二乗誤差（MSE）に基づく損失関数を用いて、学習と方程式発見をガイドする。

Figure 1: Equation Learner (EQL) Architectures and Variants for Parametric Equations. (a) Architecture of the base EQL network with relaxed $L_{0}$ regularization. The weights $\mathbf{W}$ are re-parameterized as an element-wise product of the gate variables $\mathbf{z}$ and the weight values $\tild

実験結果

リサーチクエスチョン

• RQ1 従来の記号的回帰に比べて、深層学習ベースの記号的回帰は、係数が変化するパラメトリック方程式をより効果的に発見できるか？
• RQ2 SEQLおよびHEQLアーキテクチャは、学習領域外の未観測パrameter値に対し、どれほど一般化できるか？
• RQ3 畳み込みエンコーダーと組み合わせた場合、本手法はスプリングシステムの画像など高次元データにスケーリング可能か？
• RQ4 真の式に複雑または非線形な係数変動が含まれる場合、記号的回帰プロセスの失敗モードは何か？
• RQ5 振動的または非線形な係数依存性を持つ方程式を発見する際、SEQLとHEQLの性能はどのように比較できるか？

主な発見

• SEQLおよびHEQLアーキテクチャは、5つの解析的ベンチマーク方程式をすべて成功裏に発見し、最良の試行でテストMSEが1.21×10⁻⁷未満を達成し、高い精度を示した。
• 関数 $ f_3 = t x $ に関しては、SEQLおよびHEQLともにテストMSEが $ 5.72 \times 10^{-15} $ を達成し、真の式のほぼ完全な回復を示した。
• 拡散付き移流PDEに対しては、テストMSEが $ 1.08 \times 10^{-5} $ を達成し、空間的に変化する係数を伴う複雑なPDEに対しても優れた性能を示した。
• HEQLモデルは、同じ正弦波項を組み合わせるのを失敗することがあり、代わりに等価だが最適化されていない形（例：$ a(t)\sin(b(t)x) + c(t)\sin(d(t)x) $ で $ b(t) \approx d(t) $）を学習する傾向があった。これは、記号的簡略化における制限を示している。
• 多項式＋正弦波形の形 $ f_4 = t x^2 + 3\sin(t) x $ に関しては、SEQLがHEQLを上回り、テストMSEが $ 9.47 \times 10^{-6} $ に対し、HEQLは $ 3.17 \times 10^{-5} $ を記録した。これは、多項式＋正弦波形の形に対してSEQLがより優れた一般化性能を示していることを示唆している。
• 本手法は強力な外挿性能を示した。関数 $ f_5 = \sin\left(\frac{5+t}{2} \cdot x\right) $ に関しては、学習範囲外のパrameter値でもテストMSEが $ 3.63 \times 10^{-8} $ を達成し、最良の試行で高い精度を維持した。

Figure 2: Learning parametric equations. (a, b) Learning the function $f_{1}$ which contains a discontinuity at $t=0$ . (c, d) Learning the function $f_{2}$ which corresponds to a sinusoid with a frequency that varies non-smoothly as a function of $t$ . (a, c) Predictions after training the EQL, SEQ