[논문 리뷰] A Neuro-Symbolic Method for Solving Differential and Functional Equations

Maysum Panju, Ali Ghodsi|arXiv (Cornell University)|2020. 11. 04.

Model Reduction and Neural Networks참고 문헌 14인용 수 6

한 줄 요약

이 논문은 미분 및 함수 방정식을 해결하기 위해 기호적 수학적 표현을 직접 학습할 수 있는 가중치가 가능한 신경망 아키텍처를 사용하는 신경기호 프레임워크를 제안한다. 기울기 기반 학습을 통해 사용자 정의 손실 함수를 최적화함으로써, 정확한 해석적 해가 존재하지 않을 경우에도 이해 가능한 기호적 근사값을 생성한다. 레인-에멜린 방정식, 비초등 적분, 함수의 역함수 등에 대해 성공적으로 적용된 바가 있다.

ABSTRACT

When neural networks are used to solve differential equations, they usually produce solutions in the form of black-box functions that are not directly mathematically interpretable. We introduce a method for generating symbolic expressions to solve differential equations while leveraging deep learning training methods. Unlike existing methods, our system does not require learning a language model over symbolic mathematics, making it scalable, compact, and easily adaptable for a variety of tasks and configurations. As part of the method, we propose a novel neural architecture for learning mathematical expressions to optimize a customizable objective. The system is designed to always return a valid symbolic formula, generating a useful approximation when an exact analytic solution to a differential equation is not or cannot be found. We demonstrate through examples how our method can be applied on a number of differential equations, often obtaining symbolic approximations that are useful or insightful. Furthermore, we show how the system can be effortlessly generalized to find symbolic solutions to other mathematical tasks, including integration and functional equations.

연구 동기 및 목표

• 기존의 사전 훈련된 언어 모델에 의존하지 않고도 기호 형태로 미분 방정식을 해결할 수 있는 확장성 있고 이해 가능한 방법을 개발한다.
• 딥 러닝이 사용자 정의 비용 함수를 최소화하는 기호 표현을 직접 발견할 수 있도록 한다.
• 정확한 해석적 해가 존재하지 않거나 도달할 수 없을 경우에도 유용한 기호적 근사값을 생성한다.
• 미분 방정식을 초월해 적분 및 함수의 역함수 계산과 같은 작업으로 프레임워크를 일반화한다.
• 수학적 문제 해결에서 신경망의 정확성과 기호적 해석 가능성 사이의 격차를 메운다.

제안 방법

• 이 방법은 정의된 연산자 및 함수의 문법에서 유효한 기호적 표현을 생성하는 기반 신경 기반 기호 함수 학습기(SFL)를 도입한다.
• SFL은 사용자 정의 목표 함수를 최소화하기 위해 기울기 기반 최적화를 사용하며, 언어 모델링 없이 엔드 투 엔드 학습이 가능하다.
• 시스템은 학습 가능한 매개변수를 가진 구문 트리로 기호적 표현을 구성하여 추론 시 문법적 타당성을 보장한다.
• 목표 함수를 재정의함으로써 다양한 수학 작업을 지원하며, 예를 들어 ODE의 잔차 오차나 부정적분의 적분 근사 오차를 최소화할 수 있다.
• 입력 및 출력 공간을 확장함으로써 이 프레임워크는 편미분 방정식 및 함수 방정식으로까지 일반화될 수 있다.
• 함수 공간에 정확한 해가 존재하지 않을 경우에도 기호적 근사값을 생성하여 해의 구조에 대한 통찰을 제공한다.

실험 결과

연구 질문

• RQ1 기존의 사전 훈련된 언어 모델에 의존하지 않고도 딥 러닝을 사용해 기호적 해를 직접 발견할 수 있는가?
• RQ2 가중치가 가능한 신경망 아키텍처가 기초가 되는 기호적 표현을 생성하여, 초등 함수로 표현할 수 없는 해를 근사할 수 있는가?
• RQ3 비초등 함수의 적분에 대해 이 방법이 기호적 근사값을 얼마나 효과적으로 생성하는가?
• RQ4 이 프레임워크는 함수 방정식을 해결하고 함수의 역함수를 계산하는 데까지 확장될 수 있는가?
• RQ5 기호적 근사값이 진짜 해의 형태와 행동에 대해 얼마나 깊이 있는 통찰을 제공할 수 있는가?

주요 결과

• 이 방법은 $[-2,2]$에서 $e^{-x^2}$의 적분에 대해 기호적 근사값을 성공적으로 생성하였으며, $[-1,3]$에서 오차 함수를 근사할 때 잔차 오차가 0.000006464로 매우 낮게 유지되었다.
• 오차 함수에 대한 단순화된 기호 표현이 반자동으로 유도되었으며, 표준 정규 분포 함수와 거의 일치하며 최소한의 오차를 보였다.
• 비초등 적분인 $\int_0^x \sqrt{1-t^4} dt$에 대해서도 정확한 기호적 근사값을 생성하여 비초등 적분에 대한 유용성을 입증하였다.
• 초등 부정적분이 존재하지 않는 $\sin(\sin(x))$ 및 $\sqrt{\sin(x)}$의 적분을 낮은 오차로 근사하였다.
• 함수 $c(x) = x^3 + x + 1$에 대해 2층 SFL을 사용하여 고도로 정확한 기호적 역함수를 학습하였다.
• 정확한 해가 존재하지 않더라도 시스템은 항상 유효한 기호적 표현을 반환하였으며, 해의 구조에 대한 의미 있는 통찰을 제공하였다.