[論文レビュー] A Neuro-Symbolic Method for Solving Differential and Functional Equations

Maysum Panju, Ali Ghodsi|arXiv (Cornell University)|Nov 4, 2020

Model Reduction and Neural Networks参考文献 14被引用数 6

ひとこと要約

本稿では、微分方程式および関数方程式を解くために、微分可能なニューラルアーキテクチャを用いて、直接的に記号的数学的式を学習する神経記号的フレームワークを提案する。勾配ベースの学習によりカスタマイズ可能な損失関数を最適化することで、正確な解析解が存在しない場合でも、解釈可能な記号的近似を生成する。Lane-Emden方程式、非初等的積分、関数の逆関数の問題において成功を収めた。

ABSTRACT

When neural networks are used to solve differential equations, they usually produce solutions in the form of black-box functions that are not directly mathematically interpretable. We introduce a method for generating symbolic expressions to solve differential equations while leveraging deep learning training methods. Unlike existing methods, our system does not require learning a language model over symbolic mathematics, making it scalable, compact, and easily adaptable for a variety of tasks and configurations. As part of the method, we propose a novel neural architecture for learning mathematical expressions to optimize a customizable objective. The system is designed to always return a valid symbolic formula, generating a useful approximation when an exact analytic solution to a differential equation is not or cannot be found. We demonstrate through examples how our method can be applied on a number of differential equations, often obtaining symbolic approximations that are useful or insightful. Furthermore, we show how the system can be effortlessly generalized to find symbolic solutions to other mathematical tasks, including integration and functional equations.

研究の動機と目的

• 事前学習済み言語モデルに依存しない、スケーラブルで解釈可能な記号的形での微分方程式の解法手法の開発。
• ディープラーニングが、ユーザー定義のコスト関数を最小化する記号的式を直接発見できるようにすること。
• 正確な解析解が得られない場合や到達不可能な場合に、有用な記号的近似を生成すること。
• 微分方程式にとどまらず、積分や関数の逆関数といったタスクへもフレームワークを一般化すること。
• 数学的問題解決におけるニューラルネットワークの精度と記号的解釈可能性のギャップを埋めること。

提案手法

• 本手法は、演算子および関数の事前定義された文法に基づき、有効な記号的式を生成する微分可能なニューラルアーキテクチャである、ニューラルベースの記号的関数学習者（SFL）を導入する。
• SFLは勾配ベース最適化を用いてカスタマイズ可能な目的関数を最小化し、言語モデルを用いずにエンドツーエンドの学習を可能にする。
• システムは、学習可能なパラメータを備えた解析木として記号的式を構築し、推論時に文法的妥当性を保証する。
• 目的関数を再定義することで、さまざまな数学的タスクに対応可能である。例えば、常微分方程式では残差誤差を最小化し、原始関数の場合は積分近似誤差を最小化する。
• 入力および出力空間の拡張により、偏微分方程式および関数方程式へも拡張可能である。
• 関数空間に正確な解が存在しない場合でも、記号的近似を生成し、解の構造に関する洞察を提供する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデルに依存せずに、ディープラーニングを用いて微分方程式の記号的解を直接発見できるか？
• RQ2 微分可能なニューラルアーキテクチャが、初等関数で表せない方程式の解を近似する有効で解釈可能な記号的式を生成できるか？
• RQ3 非初等的関数の積分に対して、この手法はどの程度の精度で記号的近似を生成できるか？
• RQ4 このフレームワークは関数方程式を解き、関数の逆関数を計算するために拡張可能か？
• RQ5 記号的近似は、真の解の形状および挙動に関するどの程度の洞察を提供できるか？

主な発見

• 本手法は、$[-2,2]$ における $e^{-x^2}$ の積分に対して、記号的近似を成功裏に生成した。$[-1,3]$ における残差誤差は 0.000006464 にまで低下した。
• 誤差関数の簡略化された記号的式が、半自動的に導出され、標準正規分布関数に極めて近い結果を示し、最小限の誤差を伴った。
• 楕円積分 $\int_0^x \sqrt{1-t^4} dt$ に対しても、正確な記号的近似が得られ、非初等的積分への有効性が示された。
• 初等的原始関数を持たない $\sin(\sin(x))$ および $\sqrt{\sin(x)}$ の積分に対しても、低誤差で近似が可能であった。
• 関数 $c(x) = x^3 + x + 1$ の記号的逆関数が、2層のSFLにより、正弦関数を用いて高精度で学習された。
• 正確な解が得られなくても、システムは一貫して有効な記号的式を返し、解の構造に関する意味のある洞察を提供した。