[論文レビュー] Genetic Programming Based Symbolic Regression for Analytical Solutions to Differential Equations

Hongsup Oh, Roman Amici+4 more|arXiv (Cornell University)|Feb 7, 2023

Evolutionary Algorithms and Applications被引用数 6

ひとこと要約

本稿では、常微分方程式（ODE）および偏微分方程式（PDE）の正確な解析解を発見するための物理的正則化付き遺伝的プログラミング記号回帰（PR-GPSR）手法を提示する。既知の微分方程式の残差を適応度関数に組み込むことで、大規模な訓練データを必要とせずに真の記号的解が信頼性高く進化することを示した。4階のODEと2階のPDEに対して実証された。記号的表現の内在的解釈可能性を活かし、科学的・工学的応用に適している。

ABSTRACT

In this paper, we present a machine learning method for the discovery of analytic solutions to differential equations. The method utilizes an inherently interpretable algorithm, genetic programming based symbolic regression. Unlike conventional accuracy measures in machine learning we demonstrate the ability to recover true analytic solutions, as opposed to a numerical approximation. The method is verified by assessing its ability to recover known analytic solutions for two separate differential equations. The developed method is compared to a conventional, purely data-driven genetic programming based symbolic regression algorithm. The reliability of successful evolution of the true solution, or an algebraic equivalent, is demonstrated.

研究の動機と目的

• 数値近似ではなく正確な解析解を発見する機械学習手法の開発。
• 工学的・科学的計算分野で用いられるブラックボックス型機械学習モデルの解釈可能性と説明可能性の欠如に対処する。
• 記号回帰における物理的インフォームド正則化を用いることで、大規模データセットへの依存を低減する。
• 検証可能な記号的表現により、MLモデルの信頼性を高め、工学的ワークフローへの統合を可能にする。
• 最小限のデータでさえも、物理法則を反映した残差適応度関数に依存して、記号的解が信頼性高く回復可能かどうかを示すこと。

提案手法

• 基本的なアルゴリズムとして、原始関数および演算子の集合から数学的式を進化させる遺伝的プログラミングに基づく記号回帰（GPSR）を採用する。
• 既知の微分方程式および境界・初期条件の残差に基づいてペナルティを課す物理的正則化付き適応度関数を導入する。
• 適応度関数は、候補となる記号的式が支配的ODEまたはPDEをどれほど正確に満たしているかを評価し、正確な解への収束を促進する。
• 代数的演算、三角関数、定数をサポートする記号的式表現を採用し、柔軟な解空間探索を可能にする。
• 位相シフトや振幅などのパラメータ化された形に対して局所最適化を適用し、真の解と代数的に同等であるかを検証する。
• 進化した式が元の微分方程式および境界条件を正確に満たすかどうかをチェックすることで、結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 物理的正則化付き遺伝的プログラミングは、既知の微分方程式の真の解析解を信頼性高く発見できるか？
• RQ2 訓練データが存在しない状況で、不要な演算子が含まれると、正しい記号的形の進化にどのような影響を与えるか？
• RQ3 問題の次元が高くなると、記号的解の発見における収束速度および成功確率にどのような影響を与えるか？
• RQ4 正確な形が初期に進化しなくても、真の解と代数的に同等の解（例：わずかな位相シフト付き正弦関数、余弦関数同等）を回復できるか？
• RQ5 物理法則が残差適応度関数に組み込まれた状態で、最小限または全く訓練データがなくても、この手法がどれほど機能するか？

主な発見

• PR-GPSR手法は、必要な数学的演算子のみを許可した場合、4階ODEについて30回の繰り返し試行すべてで正確な解析解を回復した。
• 不要な演算子が導入された場合でも、正しい記号的形を信頼性高く進化させるために、最小限の訓練データで十分であった。
• 2階PDE（ポアソン方程式）について、次元が増加してもすべての試行で真の解が回復されたが、必要な世代数は顕著に増加した。
• 手法は頻繁に真の解と代数的に同等のモデル形（例：わずかな位相シフト付き正弦関数、余弦関数同等）を進化させ、パrametric変動に対して強い耐性を示した。
• Euler-Bernoulli ODEのケースではモデルの肥大化が顕著に見られたが、局所最適化により適切な形への進化を適応度関数が効果的に導いた。
• 本手法は、物理法則を残差適応度関数に埋め込むことで、大規模なデータセットに依存せず、記号的解を発見可能であることを示した。