[論文レビュー] LLM-SR: Scientific Equation Discovery via Programming with Large Language Models

Parshin Shojaee, Kazem Meidani+3 more|arXiv (Cornell University)|Apr 29, 2024

Scientific Computing and Data Management被引用数 4

ひとこと要約

LLM-SRは、方程式を実行可能なプログラムとして扱い、データ駆動型最適化と科学的仮説を統合することで、大規模言語モデル（LLMs）を活用して科学的方程式を発見する画期的なフレームワークを提案する。この手法は、多様な科学的分野において、物理的に正確な方程式を発見する点で、従来の記号的回帰ベースラインを上回り、ドメイン内およびドメイン外での一般化性能に優れている。

ABSTRACT

Mathematical equations have been unreasonably effective in describing complex natural phenomena across various scientific disciplines. However, discovering such insightful equations from data presents significant challenges due to the necessity of navigating extremely large combinatorial hypothesis spaces. Current methods of equation discovery, commonly known as symbolic regression techniques, largely focus on extracting equations from data alone, often neglecting the domain-specific prior knowledge that scientists typically depend on. They also employ limited representations such as expression trees, constraining the search space and expressiveness of equations. To bridge this gap, we introduce LLM-SR, a novel approach that leverages the extensive scientific knowledge and robust code generation capabilities of Large Language Models (LLMs) to discover scientific equations from data. Specifically, LLM-SR treats equations as programs with mathematical operators and combines LLMs' scientific priors with evolutionary search over equation programs. The LLM iteratively proposes new equation skeleton hypotheses, drawing from its domain knowledge, which are then optimized against data to estimate parameters. We evaluate LLM-SR on four benchmark problems across diverse scientific domains (e.g., physics, biology), which we carefully designed to simulate the discovery process and prevent LLM recitation. Our results demonstrate that LLM-SR discovers physically accurate equations that significantly outperform state-of-the-art symbolic regression baselines, particularly in out-of-domain test settings. We also show that LLM-SR's incorporation of scientific priors enables more efficient equation space exploration than the baselines. Code and data are available: https://github.com/deep-symbolic-mathematics/LLM-SR

研究の動機と目的

• 高次元かつ非線形な仮説空間における記号的回帰の課題に取り組むために、方程式発見に科学的仮説知識を統合する。
• 分野固有の知識を無視するなど、従来の記号的回帰手法が組み合わせ的空間における非効率な探索に直面する問題を克服する。
• LLMsの科学的推論力とコード生成能力を活用して、情報に基づいた方程式骨格を生成し、進化的な探索をガイドする。
• LLMsによる仮説知識を統合することで、物理的整合性や科学的妥当性を埋め込むことにより、発見された方程式の一般化性能と解釈可能性を向上させる。
• LLMによる仮説生成とデータ駆動型評価、経験記憶を組み合わせたスケーラブルで反復的なフレームワークを構築する。

提案手法

• 数学的演算子と記号的変数を用いて、科学的方程式を実行可能なプログラム骨格として表現し、LLMsがそれらをコードとして生成・操作できるようにする。
• 問題の概要と変数の定義を含む構造化されたプロンプトを用い、LLMが係数のプレースホルダーを含む科学的に妥当な方程式形を生成するように誘導する。
• 既成品の最適化アルゴリズムを用いて、各方程式骨格のパラメータを観測データに適合させ、回帰指標を用いて適合度を評価する。
• スコアの高い仮説を動的メモリバッファとして保持し、反復的改善におけるLLM生成方程式のガイドラインとしてのコンテキスト例を提供する。
• LLMがガイドする進化的な探索戦略（変異とクロスオーバー）を用いて、方程式空間を効率的に探索し、適合度フィードバックをもとにより優れた解へと導く。
• 物理的整合性、次元解析、既知の関数形といった科学的仮説知識を、仮説生成段階に統合することで、探索の効率性と正確性を向上させる。

Figure 1: The LLM-SR framework , consisting of three main steps: (a) Hypothesis Generation , where LLM generates equation program skeletons based on a structured prompt; (b) Data-driven Evaluation , which optimizes the parameters of each equation skeleton hypothesis and assesses its fit to the data;

実験結果

リサーチクエスチョン

• RQ1 LLMsは、単にデータ駆動型探索に依存せずに、科学的に妥当な方程式骨格を効果的に生成できるか？
• RQ2 LLMsから得られる科学的仮説知識を統合することで、従来の記号的回帰と比較して、発見された方程式の正確性と一般化性能がどの程度向上するか？
• RQ3 LLMが生成する方程式プログラムは、多様な科学的分野において、ドメイン内およびドメイン外のデータにどの程度優れた適合を示すか？
• RQ4 経験記憶と反復的改善の統合は、発見された方程式の収束性と多様性をどの程度向上させるか？
• RQ5 計算コストやモデルが学習した仮説知識に内在するバイアスの観点から、LLMベースの方程式発見の限界は何か？

主な発見

• LLM-SRは、3つの異なる科学的分野において物理的に正確な方程式を効果的に発見し、ドメイン外データへの一般化性能が顕著に優れている。
• 確立された記号的回帰ベースラインと比較して、ドメイン内およびドメイン外の両方のデータに顕著に優れた適合を達成している。
• LLMが生成する科学的仮説知識の統合により、探索の網羅的でない必要性が低減され、高次元の方程式空間における収束が加速された。
• 方程式をプログラムとして表現することで、効果的なコード生成と実行が可能になり、複雑な関係をモデル化する表現力と柔軟性が向上した。
• 高得点の仮説の動的メモリによる経験管理により、コンテキスト学習を活用した後続のLLM生成提案の質が向上した。
• 計算コストは伴うが、人間の推論とデータ駆動型最適化を組み合わせることで、LLM-SRは科学的発見の加速に有望であることが示された。

Figure 2: Example of an input prompt for E. Coli bacterial growth with problem specifications, evaluation and optimization function, and the initial input equation example.