[논문 리뷰] Deep Learning and Symbolic Regression for Discovering Parametric Equations

Michael Zhang, Samuel Kim외 2명|arXiv (Cornell University)|2022. 07. 01.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 깊이 있는 학습 프레임워크를 제안하여 기호적 회귀를 확장하여 계수의 변화가 있는 매개변수 방정식을 발견한다. 두 가지 새로운 아키텍처인 스택드 EQL(SEQL)과 하이퍼 EQL(HEQL)을 사용하여 데이터로부터 해석 가능한 수학적 식을 학습한다. 이 방법은 복잡한 매개변수 방정식과 편미분방정식(PDE)을 높은 정확도로 발견하며, 공간적으로 변화하는 계수를 가진 경우에도 성능이 뛰어나고, 훈련 도메인을 초월한 일반화 능력이 뛰어나다.

ABSTRACT

Symbolic regression is a machine learning technique that can learn the governing formulas of data and thus has the potential to transform scientific discovery. However, symbolic regression is still limited in the complexity and dimensionality of the systems that it can analyze. Deep learning on the other hand has transformed machine learning in its ability to analyze extremely complex and high-dimensional datasets. We propose a neural network architecture to extend symbolic regression to parametric systems where some coefficient may vary but the structure of the underlying governing equation remains constant. We demonstrate our method on various analytic expressions, ODEs, and PDEs with varying coefficients and show that it extrapolates well outside of the training domain. The neural network-based architecture can also integrate with other deep learning architectures so that it can analyze high-dimensional data while being trained end-to-end. To this end we integrate our architecture with convolutional neural networks to analyze 1D images of varying spring systems.

연구 동기 및 목표

• 복잡하고 고차원적인 시스템에서 계수의 변화를 다루지 못하는 기존 기호적 회귀의 한계를 해결하기 위해.
• 기본적인 방정식의 형태는 유지되지만 계수만 변화하는 매개변수 방정식으로 딥 러닝 기반 기호적 회귀를 확장하기 위해.
• 데이터로부터 이해 가능한 수학적 식, 특히 편미분방정식(PDE)을 발견할 수 있는 엔드 투 엔드로 훈련 가능한 신경망 아키텍처를 개발하기 위해.
• 매개변수 시스템에서 훈련 도메인을 초월한 일반화 및 외삽 능력을 가능하게 하기 위해.
• 예를 들어, 동역학 시스템의 이미지와 같은 고차원 데이터를 분석하기 위해 딥 러닝 인코더(예: 합성곱 네트워크)와 통합하기 위해.

제안 방법

• 계수의 변화가 있는 복잡한 매개변수 방정식을 모델링하기 위해 다중 EQL 모듈을 스택하는 스택드 EQL(SEQL) 아키텍처를 제안한다.
• 입력 매개변수에 기반해 기호 표현의 계수를 생성하기 위해 하이퍼넷워크를 사용하는 하이퍼 EQL(HEQL) 아키텍처를 도입한다.
• 완전 연결 네트워크의 활성화 함수를 +, *, sin, x² 등의 기본 함수로 대체하는 미분 가능한 기호적 회귀 프레임워크를 사용한다.
• 모든 모델을 백프로파게이션을 통해 엔드 투 엔드로 훈련하여 기호적 구조와 계수 함수를 동시에 최적화한다.
• 고차원 입력 데이터(예: 스프링 시스템의 1D 이미지)를 처리하기 위해 합성곱 인코더를 사용하여 기호적 회귀 헤드에 입력을 제공한다.
• 예측값과 진짜 출력값 간의 평균 제곱오차(MSE)를 기반으로 한 손실 함수를 사용하여 훈련과 방정식 발견을 이끌어낸다.

Figure 1: Equation Learner (EQL) Architectures and Variants for Parametric Equations. (a) Architecture of the base EQL network with relaxed $L_{0}$ regularization. The weights $\mathbf{W}$ are re-parameterized as an element-wise product of the gate variables $\mathbf{z}$ and the weight values $\tild

실험 결과

연구 질문

• RQ1 기존 기호적 회귀보다 딥 러닝 기반 기호적 회귀가 변화하는 계수를 가진 매개변수 방정식을 더 효과적으로 발견할 수 있는가?
• RQ2 SEQL 및 HEQL 아키텍처는 훈련 도메인 외부의 새로운 매개변수 값에 대해 얼마나 잘 일반화되는가?
• RQ3 합성곱 인코더와 결합했을 때, 제안된 방법은 이미지와 같은 고차원 데이터로 확장될 수 있는가?
• RQ4 진짜 방정식이 복잡하거나 비선형적인 계수 변화를 포함할 경우 기호적 회귀 과정의 실패 모드는 무엇인가?
• RQ5 진동하거나 비선형 계수 의존성을 가진 방정식을 발견할 때 SEQL의 성능은 HEQL보다 어떻게 다른가?

주요 결과

• SEQL 및 HEQL 아키텍처는 모든 다섯 개의 분석 기준 방정식을 성공적으로 발견했으며, 최고의 시도에서 테스트 MSE 값이 1.21×10⁻⁷ 이하로 나타나 높은 정확도를 보였다.
• 함수 $ f_3 = t x $ 에서 SEQL과 HEQL 모두 테스트 MSE가 $ 5.72 \times 10^{-15} $ 으로 나타나 진짜 방정식을 거의 완벽하게 복원했다.
• 이동-확산 PDE에서 모델은 테스트 MSE가 $ 1.08 \times 10^{-5} $ 로 나타나 공간적으로 변화하는 계수를 가진 복잡한 PDE에서도 뛰어난 성능을 보였다.
• HEQL 모델은 종종 동일한 삼각함수 항을 결합하지 못해 등가이지만 최적화되지 않은 형태를 학습하는 경우가 있었다(예: $ a(t)\sin(b(t)x) + c(t)\sin(d(t)x) $ 에서 $ b(t) \approx d(t) $), 이는 기호 간소화의 한계를 보여준다.
• 다항식과 삼각함수의 조합인 $ f_4 = t x^2 + 3\sin(t) x $ 에서 SEQL은 HEQL보다 성능이 뛰어나 테스트 MSE가 $ 9.47 \times 10^{-6} $ 으로 나타났고, HEQL는 $ 3.17 \times 10^{-5} $ 로 나타나 다항식-삼각함수 조합 형태에서 더 나은 일반화 능력을 보였다.
• 이 방법은 강력한 외삽 능력을 보였다: $ f_5 = \sin\left(\frac{5+t}{2} \cdot x\right) $ 에서 최고의 시도에서 테스트 MSE가 $ 3.63 \times 10^{-8} $ 로 나타나 훈련 범위를 초월한 매개변수 값에서도 성능이 뛰어났다.

Figure 2: Learning parametric equations. (a, b) Learning the function $f_{1}$ which contains a discontinuity at $t=0$ . (c, d) Learning the function $f_{2}$ which corresponds to a sinusoid with a frequency that varies non-smoothly as a function of $t$ . (a, c) Predictions after training the EQL, SEQ