[논문 리뷰] Neural Symbolic Regression that Scales

Luca Biggio, Tommaso Bendinelli외 3명|arXiv (Cornell University)|2021. 06. 11.

Model Reduction and Neural Networks참고 문헌 31인용 수 27

한 줄 요약

수백만 개의 생성된 방정식으로 사전 학습된 Transformer 기반의 기호적 회귀기이며, 그 후 입력-출력 쌍으로부터 방정식 골격을 예측하고 상수를 피팅하여, 더 많은 데이터와 연산으로 확장 가능한 데이터 기반의 기호적 회귀를 가능하게 한다.

ABSTRACT

Symbolic equations are at the core of scientific discovery. The task of discovering the underlying equation from a set of input-output pairs is called symbolic regression. Traditionally, symbolic regression methods use hand-designed strategies that do not improve with experience. In this paper, we introduce the first symbolic regression method that leverages large scale pre-training. We procedurally generate an unbounded set of equations, and simultaneously pre-train a Transformer to predict the symbolic equation from a corresponding set of input-output-pairs. At test time, we query the model on a new set of points and use its output to guide the search for the equation. We show empirically that this approach can re-discover a set of well-known physical equations, and that it improves over time with more data and compute.

연구 동기 및 목표

• 수작업으로 설계된 방법에 대한 데이터 기반이며 확장 가능한 대안으로 기호적 회귀를 제시한다.
• 생성된 방정식을 이용한 기호적 회귀를 위한 대규모 사전 학습 프레임워크를 도입한다.
• 입력-출력 데이터로부터 방정식 골격을 예측하는 매개변수화된 기호적 회귀기를 학습한다.
• 사전 학습 크기, 테스트 시 연산량, 데이터 포인트 수가 성능에 미치는 영향을 평가한다.
• 다중 기호적 회귀 벤치마크에서 확장성과 강건성을 시연한다.

제안 방법

• 입력-출력 쌍 집합을 방정식 골격으로 매핑하도록 Transformer를 사전 학습한다(상수를 위한 자리표시자 포함).
• 방정식을 접두 표기법으로 표현하고, 나중에 피팅될 상수를 위한 자리표시 기호를 사용한다.
• 절차적으로 생성된 수억 개의 방정식으로 학습하여 기호 표현에 대한 사전 정보를 학습한다.
• 테스트 시에는 주어진 데이터를 인코딩하고 빔 탐색으로 골격 후보를 샘플링한 뒤, 비선형 최적화기(예: BFGS)로 상수를 피팅한다.
• 가변 크기 입력 집합에 대한 순열 불변 처리를 위해 Set Transformer 인코더를 사용하고, 표준 Transformer 디코더로 디코딩한다.
• AIF, SOOSE, Nguyen 등의 다양한 데이터 세트에서 예측된 방정식을 실제 정답과 비교하여 분포 내/분포 외 메트릭으로 평가한다.

실험 결과

연구 질문

• RQ1 대규모 사전 학습으로부터 학습한 기호적 회귀기가 수작업으로 설계된 기호적 회귀 방법을 능가하도록 학습할 수 있는가?
• RQ2 사전 학습 데이터 크기가 테스트 시 기호적 회귀 성능에 어떻게 영향을 미치는가?
• RQ3 입력-출력 쌍의 수와 입력 변수의 수에 따라 방법이 확장되는가?
• RQ4 분포 내-분포 외 방정식 세트에서 이 접근 방식의 성능은 어떠한가?
• RQ5 테스트 시 연산량과 정확도 간의 트레이드오프는 무엇인가?

주요 결과

• NeSymReS는 사전 학습 데이터가 증가함에 따라 성능이 향상되며, 유사한 계산 예산 하에서 데이터셋 전반에 걸쳐 최첨단 기준선을 능가한다.
• 테스트 시 NeSymReS는 기준선보다 더 적은 연산으로 더 높은 정확도를 달성하며, 특히 AI-Feynman (AIF)에서 그렇다.
• 성능은 테스트 시 입력-출력 쌍이 늘어나면 향상되고, 데이터 포인트 수가 크게 다를 때도 견고하다.
• Set Transformer 설계 덕분에 입력-출력 포인트 수와 입력 차원 수에 대해 선형적으로 확장된다.
• 큰 방정식 분포에 대한 사전 학습은 모델이 보지 못한 방정식(SOOSE)과 더 긴 표현식으로 일반화할 수 있게 한다.
• NeSymReS는 유사한 정확도에서 CPU상 기준선 대비 상당히 빠를 수 있다(수 배 이상).