[論文レビュー] Symbolic Physics Learner: Discovering governing equations via Monte Carlo tree search

Fangzheng Sun, Yang Liu+2 more|arXiv (Cornell University)|May 26, 2022

Model Reduction and Neural Networks被引用数 13

ひとこと要約

本稿では、数学的式を記号的木構造として扱うことで、限られたノイズの多いデータから非線形力学系の支配方程式を発見するためのモンテカルロ木探索（MCTS）ベースのフレームワーク、Symbolic Physics Learner（SPL）を提案する。SPLは、シンボリック回帰および物理法則の発見分野における最先端手法を上回り、実験データからカオス的であるとされる二重pendulum系の複雑な方程式——特に減衰項を含む——を正常に回復した。

ABSTRACT

Nonlinear dynamics is ubiquitous in nature and commonly seen in various science and engineering disciplines. Distilling analytical expressions that govern nonlinear dynamics from limited data remains vital but challenging. To tackle this fundamental issue, we propose a novel Symbolic Physics Learner (SPL) machine to discover the mathematical structure of nonlinear dynamics. The key concept is to interpret mathematical operations and system state variables by computational rules and symbols, establish symbolic reasoning of mathematical formulas via expression trees, and employ a Monte Carlo tree search (MCTS) agent to explore optimal expression trees based on measurement data. The MCTS agent obtains an optimistic selection policy through the traversal of expression trees, featuring the one that maps to the arithmetic expression of underlying physics. Salient features of the proposed framework include search flexibility and enforcement of parsimony for discovered equations. The efficacy and superiority of the SPL machine are demonstrated by numerical examples, compared with state-of-the-art baselines.

研究の動機と目的

• 限られた観測データとノイズの多い状況下で、非線形力学系の解析的支配方程式を発見する課題に対処すること。
• 既存手法の限界——例えば、事前定義された基底関数ライブラリ依存（SINDy）、遺伝的プログラミング（GP）における過剰適合、ヒューリスティックな探索戦略——を克服し、柔軟で構造的な記号的探索を可能にすること。
• 文法に基づくルール設計を通じて、分野固有の事前知識を方程式発見プロセスに統合し、探索の効率性と物理的妥当性を向上させること。
• MCTSによる探索によってスパarsityを強制し、後処理による刈り取りを用いないことで、簡潔で解釈可能な方程式を達成すること。

提案手法

• 数学的式を、内部ノードが演算子（例：+、×、sin、cos）で、リーフノードが状態変数または定数である式木として表現する。
• データ適合性と正則化に基づく報酬関数に従って、報酬を最適化するMCTSエージェントを用いて、記号的式木空間を探索する。
• 探索と活用のバランスを取るために、MCTSで楽観的選択方策を採用し、観測データに高い適合可能性を示す式木を優遇する。
• 三角関数的関係や相対角度、速度依存の減衰項といった物理的知識を、許容される演算子および変数の文法に統合する。
• MCTSのロールアウト中に繰り返し最小二乗法フィッティングを実行することで、発見された記号的式を精緻化する。
• AI-Feynmanにインspiredされた再帰的分解戦略を用い、複雑な式を簡略化し、探索効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 MCTSベースのエージェントは、限られたノイズの多いデータから非線形力学系の真の支配方程式を効果的に発見できるか？
• RQ2 記号的演算の文法に分野固有の事前知識を統合することで、方程式発見の精度と効率性にどのような影響を与えるか？
• RQ3 SINDy、Eureqa、NGGPといった最先端のシンボリック回帰手法と比較して、SPLフレームワークはベンチマークおよび実世界の物理系においてどの程度優れているか？
• RQ4 事前定義された基底関数に依存せずに、非線形的かつ物理的に妥当な方程式——特に減衰項を含む——を発見できるか？
• RQ5 特にカオス的系（例：二重pendulum）において、データ不足やノイズの影響に対してSPL手法はどの程度頑健であるか？

主な発見

• SPLフレームワークは、実験データからカオス的である二重pendulum系の支配方程式を正常に回復した。これには、以前は未知であった減衰項も含まれていた。
• 回帰の精度は高く、予測された加速度がテストデータセットからの平滑化された微分値とよく一致した。
• 二重pendulumの事例において、SPLは正しい関数的形を同定した：$\dot{\omega}_1 = -0.0991\dot{\omega}_2\cos(\Delta\theta) - 0.103\omega_2^2\sin(\Delta\theta) - 69.274\sin(\theta_1) + 0.515\cos(\theta_1)$、および$\dot{\omega}_2$についても同様の式が得られた。
• SPLは、Nguyenのシンボリック回帰ベンチマークにおいて、SINDy、Eureqa、NGGPを上回り、複雑な式の発見における優れた一般化性能と頑健性を示した。
• 三角関数的依存性や速度依存の減衰といった事前知識を文法に統合することで、探索収束性と物理的妥当性が向上した。
• 係数推定に高い計算コストがかかるものの、ノイズの多いデータや限られたサンプルでも、真の物理法則を回復する能力に優れた頑健性を示した。