[논문 리뷰] Symbolic Physics Learner: Discovering governing equations via Monte Carlo tree search

Fangzheng Sun, Yang Liu외 2명|arXiv (Cornell University)|2022. 05. 26.

Model Reduction and Neural Networks인용 수 13

한 줄 요약

이 논문은 몽테카를로 트리 검색(MCTS) 기반의 프레임워크인 심볼릭 물리 학습기(SPL)를 제안한다. 이는 제한된, 노이즈가 섞인 데이터로부터 비선형 동역학 시스템의 지배 방정식을 수학적 표현을 심볼릭 트리로 간주함으로써 발견한다. SPL은 기호적 회귀 및 물리 법칙 발견 분야에서 최첨단 기법들을 능가하며, 실험 데이터로부터 혼돈 상태의 이중 단자에서 복잡한 방정식—다시 말해 감쇠 항까지—성공적으로 복원한다.

ABSTRACT

Nonlinear dynamics is ubiquitous in nature and commonly seen in various science and engineering disciplines. Distilling analytical expressions that govern nonlinear dynamics from limited data remains vital but challenging. To tackle this fundamental issue, we propose a novel Symbolic Physics Learner (SPL) machine to discover the mathematical structure of nonlinear dynamics. The key concept is to interpret mathematical operations and system state variables by computational rules and symbols, establish symbolic reasoning of mathematical formulas via expression trees, and employ a Monte Carlo tree search (MCTS) agent to explore optimal expression trees based on measurement data. The MCTS agent obtains an optimistic selection policy through the traversal of expression trees, featuring the one that maps to the arithmetic expression of underlying physics. Salient features of the proposed framework include search flexibility and enforcement of parsimony for discovered equations. The efficacy and superiority of the SPL machine are demonstrated by numerical examples, compared with state-of-the-art baselines.

연구 동기 및 목표

• 희소하고 노이즈가 섞인 관측 데이터로부터 비선형 동역학 시스템의 분석적 지배 방정식을 발견하는 데 도전한다.
• 기존 방법의 한계—예를 들어 SINDy의 경우 사전 정의된 기저 함수 라이브러리 의존, 유전적 프로그래밍(GP)의 과적합, 히우리스틱 검색 전략—을 극복하기 위해, 민첩하고 구조화된 기호적 탐색을 가능하게 한다.
• 문법 기반 규칙 설계를 통해 도메인 특화 사전 지식을 방정식 발견 과정에 통합함으로써 탐색 효율성과 물리적 타당성을 향상시킨다.
• 후처리 시점의 정규화가 아닌 MCTS 유도 탐색을 통해 희소성 원칙을 적용함으로써 간결하고 해석 가능한 방정식을 달성한다.

제안 방법

• 수학적 표현을 식 트리로 표현하며, 내부 노드는 연산자(예: +, ×, sin, cos)이고 잎 노드는 상태 변수 또는 상수이다.
• 데이터 적합도와 정규화 기반 보상 함수에 따라 지도된 몽테카를로 트리 검색(MCTS) 에이전트를 활용해 기호적 식 트리 공간을 탐색한다.
• 탐색과 이용의 균형을 이루기 위해 MCTS에서 낙관적 선택 정책을 사용하며, 관측된 데이터에 높은 적합도 잠재력을 보이는 식 트리를 선호한다.
• 예를 들어 상대 각도의 삼각함수 및 속도에 의존하는 감쇠 항과 같은 물리적 지식을 허용 가능한 연산과 변수의 문법에 통합한다.
• MCTS 롤아웃 동안 반복적인 최소 제곱법 피팅을 통해 계수 최적화를 수행하여 발견된 기호적 식을 정밀화한다.
• AI-Feynman에 영감을 받은 재귀적 분해 전략을 통해 복잡한 식을 단순화하고 탐색 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 MCTS 기반 에이전트는 희소하고 노이즈가 섞인 데이터로부터 비선형 동역학 시스템의 진정한 지배 방정식을 효과적으로 발견할 수 있는가?
• RQ2 기호적 연산의 문법에 도메인 특화 사전 지식을 통합할 경우, 방정식 발견의 정확도와 효율성에 어떤 영향을 미치는가?
• RQ3 SINDy, Eureqa, NGGP와 같은 최첨단 기호적 회귀 기법에 비해 SPL 프레임워크는 벤치마크 및 실제 물리 시스템에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 사전에 정의된 기저 함수에 의존하지 않고도, 복잡하고 비선형적이며 물리적으로 타당한 방정식—예를 들어 감쇠 항까지—을 발견할 수 있는가?
• RQ5 특히 이중 단자와 같은 혼돈 시스템에서 데이터 부족과 노이즈 상황에서 SPL 방법은 얼마나 강건한가?

주요 결과

• SPL 프레임워크는 실험 데이터로부터 혼돈 상태의 이중 단자 시스템의 지배 방정식을 성공적으로 복원하였으며, 이전까지 알려지지 않았던 감쇠 항까지 포함하였다.
• 예측 가속도가 테스트 데이터 세트의 스무딩 도함수와 매우 유사하게 높은 정밀도로 일치하여 내삽 성능이 뛰어났다.
• 이중 단자 케이스에서 SPL은 정확한 함수 형태를 식별하였다: $\dot{\omega}_1 = -0.0991\dot{\omega}_2\cos(\Delta\theta) - 0.103\omega_2^2\sin(\Delta\theta) - 69.274\sin(\theta_1) + 0.515\cos(\theta_1)$, $\dot{\omega}_2$에 대해서도 유사한 식이 발견되었다.
• Nguyen 기호적 회귀 벤치마크에서 SPL은 SINDy, Eureqa, NGGP를 능가하며, 복잡한 식 발견에서 뛰어난 일반화 능력과 강건성을 입증하였다.
• 삼각함수 의존성과 속도 기반 감쇠와 같은 사전 지식을 문법에 효과적으로 통합하여 탐색 수렴성과 물리적 타당성을 향상시켰다.
• 계수 추정의 계산 비용이 높음에도 불구하고, 노이즈가 있는 데이터와 제한된 샘플 조건에서도 진정한 물리 법칙을 회복하는 데 강력한 강건성을 보였다.