[논문 리뷰] Genetic Programming Based Symbolic Regression for Analytical Solutions to Differential Equations

Hongsup Oh, Roman Amici외 4명|arXiv (Cornell University)|2023. 02. 07.

Evolutionary Algorithms and Applications인용 수 6

한 줄 요약

이 논문은 상미분방정식과 편미분방정식(OEDs/PDEs)의 정확한 해석적 해를 발견하기 위해 물리학 기반 정규화 유전자 프로그래밍 기반 기호 회귀(PR-GPSR) 방법을 제안한다. 알려진 미분방정식의 잔차를 적합도 함수에 통합함으로써, 대규모 학습 데이터가 필요 없이도 진정한 기호적 해를 안정적으로 진화시킬 수 있다. 이는 과학 및 공학 분야의 응용에서 기호 표현의 본질적 해석 가능성에 기반한다.

ABSTRACT

In this paper, we present a machine learning method for the discovery of analytic solutions to differential equations. The method utilizes an inherently interpretable algorithm, genetic programming based symbolic regression. Unlike conventional accuracy measures in machine learning we demonstrate the ability to recover true analytic solutions, as opposed to a numerical approximation. The method is verified by assessing its ability to recover known analytic solutions for two separate differential equations. The developed method is compared to a conventional, purely data-driven genetic programming based symbolic regression algorithm. The reliability of successful evolution of the true solution, or an algebraic equivalent, is demonstrated.

연구 동기 및 목표

• 수치적 근사가 아니라 정확한 해석적 해를 발견하는 기계학습 방법을 개발하는 것.
• 공학 및 과학 계산 분야에서 사용되는 블랙박스 기계학습 모델의 해석 가능성과 설명 가능성 부족 문제를 해결하는 것.
• 기호 회귀에 물리학 기반 정규화를 도입하여 대규모 데이터셋에 의존도를 줄이는 것.
• 검증 가능한 기호 표현을 통해 기계학습 모델의 신뢰성과 공학 워크플로우 통합을 가능하게 하는 것.
• 최소한의 데이터로도 고차원 문제에서 정확한 기호 해를 안정적으로 복원할 수 있는지 확인하는 것.

제안 방법

• 기본 알고리즘으로 기호 기반 유전자 프로그래밍(GPSR)을 사용하여 기초 함수와 연산자 집합에서 수학적 표현을 진화시킨다.
• 기존 미분방정식과 경계/초기 조건의 잔차에 기반해 해를 페널티 부여하는 물리학 기반 정규화 적합도 함수를 도입한다.
• 적합도 함수는 후보 기호 표현이 주어진 ODE 또는 PDE를 얼마나 정확히 충족하는지 평가하여 정확한 해로의 수렴을 촉진한다.
• 대수 연산, 삼각함수, 상수를 지원하는 기호 표현 구조를 사용하여 해 공간 탐색의 유연성을 확보한다.
• 파라미터화된 형태(예: 위상 이동, 진폭 등)에 국소 최적화를 적용하여 진짜 해와 대수적으로 동치임을 확인한다.
• 진화된 표현이 원래 미분방정식과 경계 조건을 정확히 충족하는지 검증함으로써 결과를 검증한다.

실험 결과

연구 질문

• RQ1 물리학 기반 정규화를 적용한 유전자 프로그래밍이 알려진 미분방정식의 진짜 해석적 해를 신뢰성 있게 발견할 수 있는가?
• RQ2 학습 데이터 없이 불필요한 연산자가 포함될 경우, 정확한 기호 형태의 진화에 어떤 영향을 미치는가?
• RQ3 문제의 차원 수가 기호 해의 수렴 속도와 성공률에 어떤 영향을 미치는가?
• RQ4 정확한 형태가 초반에 진화되지 않더라도, 진짜 해와 대수적으로 동치인 해를 복원할 수 있는가?
• RQ5 최소한의 또는 전혀 학습 데이터 없이도, 문제의 물리적 특성을 기반으로만 작동할 수 있는가?

주요 결과

• 필수 수학 연산자만 허용할 경우, PR-GPSR 방법은 4차 상미분방정식에 대해 30회 반복 실험 전부에서 정확한 해석적 해를 성공적으로 복원했다.
• 불필요한 연산자가 포함된 경우, 정확한 기호 형태를 성공적으로 진화시키기 위해 최소한의 학습 데이터만 필요로 했다.
• 2차 편미분방정식(포아송 방정식)의 경우, 차원 수가 증가함에 따라도 모든 시도에서 진짜 해를 복원했지만, 수렴에 소요된 세대 수가 크게 증가했다.
• 해를 대수적으로 동치로 만드는 형태(예: 미세한 위상 이동이 있는 사인 함수 또는余코사인 함수 등)를 자주 진화시켜, 매개변수 변화에 대한 강건성을 보였다.
• 유진-버누이 상미분방정식의 경우 모델의 과다 복잡화가 더 두드러졌지만, 국소 최적화를 통해 적절한 형태로의 진화를 효과적으로 이끌었다.
• 이 방법은 대규모 데이터셋에 의존하지 않고도 문제의 물리적 특성을 잔차 적합도 함수에 통합함으로써 기호 해를 발견할 수 있다.