[論文レビュー] LLM-ODE: Data-driven Discovery of Dynamical Systems with Large Language Models

Amirmohammad Ziaei Bideh, Jonathan Gryak|arXiv (Cornell University)|Mar 21, 2026

Evolutionary Algorithms and Applications被引用数 0

ひとこと要約

LLM-ODE は大規模言語モデルと遺伝的プログラミングを統合し、軌道データから dynamical systems の governing equations を導く探索を導く。従来の GP および Transformer 単独法より探索効率と Pareto-front の品質を向上させる。

ABSTRACT

Discovering the governing equations of dynamical systems is a central problem across many scientific disciplines. As experimental data become increasingly available, automated equation discovery methods offer a promising data-driven approach to accelerate scientific discovery. Among these methods, genetic programming (GP) has been widely adopted due to its flexibility and interpretability. However, GP-based approaches often suffer from inefficient exploration of the symbolic search space, leading to slow convergence and suboptimal solutions. To address these limitations, we propose LLM-ODE, a large language model-aided model discovery framework that guides symbolic evolution using patterns extracted from elite candidate equations. By leveraging the generative prior of large language models, LLM-ODE produces more informed search trajectories while preserving the exploratory strengths of evolutionary algorithms. Empirical results on 91 dynamical systems show that LLM-ODE variants consistently outperform classical GP methods in terms of search efficiency and Pareto-front quality. Overall, our results demonstrate that LLM-ODE improves both efficiency and accuracy over traditional GP-based discovery and offers greater scalability to higher-dimensional systems compared to linear and Transformer-only model discovery methods.

研究の動機と目的

• データから dynamical systems の governing equations の発見を動機づける。
• 探索効率を改善するハイブリッドな LLM 指導型遺伝的プログラミングフレームワークを提案する。
• 92 dyn amical systems のベンチマークで LLM-ODE を baseline 手法と比較して評価する。
• 高次元システムに対する LLM-ODE のスケーラビリティの利点を示す。

提案手法

• システムを各状態変数の時間微分 f_i(x) に分解し、各方程式の表現を学習する。
• 確率的 GP 演算子を、エリート方程式からのパターンを活用するLLM生成提案に置換する。
• 多島方式の進化戦略を実装し、定期的な細化と島間混合で多様性を維持する。
• 文脈を用いた LLM プロンプトで候補の symbolic expressions を生成し、定数は数値最適化器（例：BFGS）で最適化する。
• 各方程式候補のデカップリング組を Cartesian 積で構築し、複雑さと軌道誤差のシステムレベル Pareto 最適化で選択する。

実験結果

リサーチクエスチョン

• RQ1 LLMs は構造的に情報を含んだ変異とクロスオーバーを提供し、symbolic evolution をより高い適合度の方程式へと導くことができるか。
• RQ2 LLM 指導型 GP フレームワークは、従来の GP および Transformer 単独法に比べて探索効率と Pareto-front の品質を改善するか。
• RQ3 アプローチは系の次元数の増加（D=1–4）およびカオス動力学に対してどうスケールするか。
• RQ4 prompts でシステムメタデータを避けることが、 memorization を緩和しつつ discovery の精度を維持する影響は何か。

主な発見

• LLM-ODE のバリアントは、91 の dynamical systems に対して、探索効率と Pareto-front の品質の点で古典的な GP のベンチマークを一貫して上回る。
• ハイブリッドな LLM 指導型探索は、情報なしの GP よりも収束が速く、しばしば fewer iterations で高い発見率に達する。
• LLM-ODE は線形モデルや Transformer のみの手法に対して高次元システムへのスケーラビリティを維持し、SINDy は D=4 で苦戦。
• モダリティ（Mistral、Mistral 風、Qwen）を跨いでも、LLM-ODE は異なる LLM バックエンドで頑健な性能を示す。
• 厳しい NMSE 閾値の下で、ベースラインより高い発見率を示し、困難な条件下での方程式発見の正確さを示唆する。