[논문 리뷰] LLM-SR: Scientific Equation Discovery via Programming with Large Language Models

Parshin Shojaee, Kazem Meidani외 3명|arXiv (Cornell University)|2024. 04. 29.

Scientific Computing and Data Management인용 수 4

한 줄 요약

LLM-SR는 과학적 사전 지식을 데이터 기반 최적화와 융합하여 과학적 방정식을 탐색하는 새로운 프레임워크를 제안한다. 방정식을 실행 가능한 프로그램으로 간주함으로써, 다양한 과학 분야에서 물리적으로 정확한 방정식을 발견하는 데 기존의 기호 회귀 기반 방법보다 뛰어난 내영역 및 외영역 일반화 성능을 보인다.

ABSTRACT

Mathematical equations have been unreasonably effective in describing complex natural phenomena across various scientific disciplines. However, discovering such insightful equations from data presents significant challenges due to the necessity of navigating extremely large combinatorial hypothesis spaces. Current methods of equation discovery, commonly known as symbolic regression techniques, largely focus on extracting equations from data alone, often neglecting the domain-specific prior knowledge that scientists typically depend on. They also employ limited representations such as expression trees, constraining the search space and expressiveness of equations. To bridge this gap, we introduce LLM-SR, a novel approach that leverages the extensive scientific knowledge and robust code generation capabilities of Large Language Models (LLMs) to discover scientific equations from data. Specifically, LLM-SR treats equations as programs with mathematical operators and combines LLMs' scientific priors with evolutionary search over equation programs. The LLM iteratively proposes new equation skeleton hypotheses, drawing from its domain knowledge, which are then optimized against data to estimate parameters. We evaluate LLM-SR on four benchmark problems across diverse scientific domains (e.g., physics, biology), which we carefully designed to simulate the discovery process and prevent LLM recitation. Our results demonstrate that LLM-SR discovers physically accurate equations that significantly outperform state-of-the-art symbolic regression baselines, particularly in out-of-domain test settings. We also show that LLM-SR's incorporation of scientific priors enables more efficient equation space exploration than the baselines. Code and data are available: https://github.com/deep-symbolic-mathematics/LLM-SR

연구 동기 및 목표

• 고차원적이고 비선형적인 가설 공간에서 기호 회귀의 과제를 해결하기 위해 과학적 사전 지식을 방정식 탐색에 통합한다.
• 영역에 특화된 지식을 忽시하고 조합적 공간에서 비효율적인 탐색에 빠지는 기존 기호 회귀 방법의 한계를 극복한다.
• LLM의 과학적 추론 및 코드 생성 능력을 활용해 정보가 풍부한 방정식 스켈레톤을 생성하고 진화적 탐색을 이끌어낸다.
• LLM 사전 지식을 통해 물리적 일관성과 과학적 타당성을 통합함으로써 탐색된 방정식의 일반화 능력과 해석 가능성 향상.
• LLM 기반 가설 생성과 데이터 기반 평가, 경험 메모리 통합을 통한 확장 가능한 반복적 프레임워크 개발.

제안 방법

• 수학적 연산자와 기호 변수를 사용해 과학적 방정식을 실행 가능한 프로그램 스켈레톤으로 표현함으로써, LLM이 이를 코드로 생성하고 조작할 수 있도록 한다.
• 문제 기술 및 변수 정의를 포함한 구조화된 프롬프트를 사용해 LLM이 자리표시자 계수를 포함한 과학적으로 타당한 방정식 형태를 생성하도록 이끈다.
• 각 방정식 스켈레톤의 매개변수를 관측된 데이터에 적합시키기 위해 표준 최적화기 사용하며, 회귀 지표를 통해 적합도 평가.
• 고성능 가설의 동적 메모리 버퍼를 유지해 LLM이 생성한 방정식의 반복적 개선을 이끄는 인라인 예시 제공.
• LLM이 이끄는 진화적 탐색 전략(변형 및 교배)을 적용해 방정식 공간을 효율적으로 탐색하며, 적합도 피드백을 통해 더 나은 해로 유도.
• 물리적 일관성, 차원 분석, 알려진 기능 형태 등의 과학적 사전 지식을 LLM에서 유래한 사전 지식으로 활용해 가설 생성 단계에서 탐색의 효율성과 정확도 향상.

Figure 1: The LLM-SR framework , consisting of three main steps: (a) Hypothesis Generation , where LLM generates equation program skeletons based on a structured prompt; (b) Data-driven Evaluation , which optimizes the parameters of each equation skeleton hypothesis and assesses its fit to the data;

실험 결과

연구 질문

• RQ1 LLM은 순수하게 데이터 기반 탐색에 의존하지 않고도 과학적으로 타당한 방정식 스켈레톤을 효과적으로 생성할 수 있는가?
• RQ2 LLM에서 유래한 과학적 사전 지식을 통합할 경우, 기존 기호 회귀 방법에 비해 탐색된 방정식의 정확도와 일반화 능력은 어떻게 향상되는가?
• RQ3 LLM이 생성한 방정식 프로그램은 다양한 과학 분야에서 내영역 및 외영역 데이터에 대해 기존 기준 기반 방법보다 얼마나 뛰어난 적합도를 보이는가?
• RQ4 경험 메모리 통합 및 반복적 개선이 발견된 방정식의 수렴성과 다양성에 어떻게 기여하는가?
• RQ5 계산 비용과 모델이 학습한 사전 지식에 내재된 편향 측면에서 LLM 기반 방정식 탐색의 한계는 무엇인가?

주요 결과

• LLM-SR는 세 가지 다른 과학 분야에서 물리적으로 정확한 방정식을 성공적으로 탐색하여 외영역 데이터에 대한 강력한 일반화 능력을 입증했다.
• 기존 기준 기반 기호 회귀 방법에 비해 내영역 및 외영역 데이터 양면에서 유의미하게 뛰어난 적합도를 달성했다.
• LLM이 생성한 과학적 사전 지식 통합으로 인해 고차원적 방정식 공간에서의 전반적인 탐색을 위한 막대한 검색이 줄어들었으며, 수렴 속도 향상.
• 방정식을 프로그램으로 표현함으로써 효과적인 코드 생성과 실행이 가능해져 복잡한 관계를 모델링하는 데 있어 표현력과 유연성 향상.
• 고성능 가설의 동적 메모리 기반 경험 관리 체계를 통해 인라인 학습을 통한 LLM이 생성한 제안의 품질 향상.
• 계산 비용이 높다는 점을 감안하더라도, 인간 수준의 추론 능력과 데이터 기반 최적화를 융합함으로써 과학적 발견의 가속화 잠재력이 높다고 평가됨.

Figure 2: Example of an input prompt for E. Coli bacterial growth with problem specifications, evaluation and optimization function, and the initial input equation example.