[논문 리뷰] Deep Generative Symbolic Regression

Samuel Holt, Zhaozhi Qian외 1명|arXiv (Cornell University)|2023. 12. 30.

Evolutionary Algorithms and Applications인용 수 4

한 줄 요약

이 논문은 사전에 훈련된 딥 생성 모델을 활용하여 수학적 방정식의 불변 표현을 학습하는 새로운 프레임워크인 딥 생성 기반 기호적 회귀(DGSR)를 제안한다. 이는 확장 가능한 기호적 회귀를 가능하게 하며 일반화 능력과 효율성을 향상시킨다. DGSR는 고차원 문제에서 최신 기준 수준의 방정식 복원률을 달성하며, 상환성과 분배법칙과 같은 방정식 불변성(예: 교환법칙, 분배법칙)을 불변 신경망과 종단 간 베이지안 기반 훈련을 통해 인코딩함으로써 강화학습 기반 모델 대비 추론 시간을 단축시킨다.

ABSTRACT

Symbolic regression (SR) aims to discover concise closed-form mathematical equations from data, a task fundamental to scientific discovery. However, the problem is highly challenging because closed-form equations lie in a complex combinatorial search space. Existing methods, ranging from heuristic search to reinforcement learning, fail to scale with the number of input variables. We make the observation that closed-form equations often have structural characteristics and invariances (e.g., the commutative law) that could be further exploited to build more effective symbolic regression solutions. Motivated by this observation, our key contribution is to leverage pre-trained deep generative models to capture the intrinsic regularities of equations, thereby providing a solid foundation for subsequent optimization steps. We show that our novel formalism unifies several prominent approaches of symbolic regression and offers a new perspective to justify and improve on the previous ad hoc designs, such as the usage of cross-entropy loss during pre-training. Specifically, we propose an instantiation of our framework, Deep Generative Symbolic Regression (DGSR). In our experiments, we show that DGSR achieves a higher recovery rate of true equations in the setting of a larger number of input variables, and it is more computationally efficient at inference time than state-of-the-art RL symbolic regression solutions.

연구 동기 및 목표

• 큰 수의 입력 변수를 처리할 때 기존 기호적 회귀 방법의 확장성과 계산 비효율성 문제를 해결하기 위해.
• 기존 접근 방식에서 무시되는 구조적 불변성(예: 교환법칙, 분배법칙)을 포함한 방정식 표현을 학습하기 위해.
• 사전 훈련 중에 볼 수 없었던 새로운 입력 변수로의 일반화와 효율적인 추론을 가능하게 하기 위해.
• 종단 간 훈련을 통해 기존 기호적 회귀 방법을 통합하고 개선하기 위해, 원칙적인 딥 생성 프레임워크에 기반을 두고자.

제안 방법

• DGSR는 베이지안 추론 기반 손실을 사용하여 종단 간으로 훈련된 깊이 있는 조건부 생성 모델을 활용하여 방정식의 불변 표현을 학습한다.
• 모델은 방정식 구조 내에서 교환법칙과 분배법칙과 같은 대칭성을 명시적으로 인코딩하는 불변 신경망을 사용한다.
• 방정식은 트리나 시퀀스가 아니라, 알려진 대수적 변환에 대해 등가성을 유지하는 구조적 잠재 표현으로 표현된다.
• 프레임워크는 추론 시 사전 훈련된 모델의 기울기 기반 개선을 지원하여 재훈련 없이도 효율적인 최적화를 가능하게 한다.
• 사전 훈련은 방정식의 대규모 코퍼스에서 수행되며, 내재된 규칙성과 불변성을 학습하고, 이후 데이터에 특화된 기울기로 미세조정된다.
• 사전 훈련된 생성 모델의 인덕티브 바이어스와 그 구조적 잠재 공간을 활용하여, 사전 훈련 시 볼 수 없었던 더 높은 차원의 입력 변수로의 일반화가 가능하다.

Figure 2: Block diagram of DGSR. DGSR is able to learn the invariances of equations and datasets $\mathcal{D}$ (P1) by having both: (1) an encoding architecture that is permutation invariant across the number of samples $n$ in the observed dataset $\mathcal{D}=\{(\mathbf{X}_{i},y_{i})\}_{i=1}^{n}$ ,

실험 결과

연구 질문

• RQ1 딥 생성 모델은 기호적 회귀에서 교환법칙과 분배법칙과 같은 대수적 불변성을 효과적으로 포착하고 인코딩할 수 있는가?
• RQ2 불변 방정식 표현을 학습하는 것이 입력 변수 수가 증가함에 따라 기호적 회귀의 확장성과 일반화 능력을 향상시키는가?
• RQ3 사전 훈련된 생성 모델의 종단 간 훈련이 전체 재훈련 없이도 효율적인 추론과 기울기 기반 개선을 가능하게 하는가?
• RQ4 강화학습 및 히우리스틱 기반 기호적 회귀 방법과 비교할 때 DGSR의 방정식 복원률과 계산 비용은 어떻게 되는가?
• RQ5 제안된 프레임워크는 기존 방법으로는 달성하기 어려웠던 더 높은 차원의 입력 공간으로 일반화할 수 있는가?

주요 결과

• DGSR는 기존 최신 기준 강화학습 및 히우리스틱 기반 방법 대비 더 많은 입력 변수가 있는 설정에서 진짜 기저 방정식의 복원률이 더 높게 달성된다.
• DGSR는 강화학습 기반 모델 대비 추론 시간 계산 비용을 크게 감소시켜 더 빠른 방정식 탐색을 가능하게 한다.
• DGSR는 사전 훈련 중에 볼 수 없었던 더 높은 차원의 새로운 입력 변수로도 효과적으로 일반화되며, 확장성 목표를 충족시킨다.
• 베이지안 기반 손실을 사용한 종단 간 훈련 방식은 사전 훈련된 모델의 효과적인 기울기 기반 개선을 가능하게 하여 재훈련 없이도 데이터에 특화된 성능 향상을 이룬다.
• DGSR는 SRBench 벤치마크 데이터셋에서 복잡한 대칭성과 구조를 가진 방정식을 복원하는 데 최신 기준 성능을 달성한다.
• 제거 실험 결과는 불변 신경망을 통한 불변성 인코딩이 특히 고차원 설정에서 성능에 핵심적인 역할을 한다는 것을 확인한다.

Figure 3: (a) Number of unique ground truth $f^{*}$ equivalent equations discovered for problem Feynman-7 (A. L ), (b) Percentage of valid equations generated from a sample of $k$ for problem Feynman-7 (A. L ), (c) Average recovery rate of Feynman $d=2$ , Feynman $d=5$ and Synthetic $d=12$ benchmark