[논문 리뷰] Deep Symbolic Regression for Recurrent Sequences

Stéphane d’Ascoli, Pierre-Alexandre Kamienny외 2명|arXiv (Cornell University)|2022. 01. 12.

Evolutionary Algorithms and Applications인용 수 26

한 줄 요약

이 논문은 Transformer 모델을 이용해 시퀀스의 초기 항들(정수 및 부동소수)을 바탕으로 재귀 관계를 추론하도록 학습시키며, OEIS 및 어휘 밖 상수에 대해 평가하여 순수 수치 외삽에 대한 기호적 회귀의 이점을 보인다.

ABSTRACT

Symbolic regression, i.e. predicting a function from the observation of its values, is well-known to be a challenging task. In this paper, we train Transformers to infer the function or recurrence relation underlying sequences of integers or floats, a typical task in human IQ tests which has hardly been tackled in the machine learning literature. We evaluate our integer model on a subset of OEIS sequences, and show that it outperforms built-in Mathematica functions for recurrence prediction. We also demonstrate that our float model is able to yield informative approximations of out-of-vocabulary functions and constants, e.g. $\operatorname{bessel0}(x)\approx \frac{\sin(x)+\cos(x)}{\sqrt{πx}}$ and $1.644934\approx π^2/6$. An interactive demonstration of our models is provided at https://symbolicregression.metademolab.com.

연구 동기 및 목표

• 정수와 부동소수를 포함하는 시퀀스로부터 재귀를 추론하는 도전과제를 고무한다.
• 재귀적 표현에 대해 기호적 및 수치 회귀를 수행하기 위해 Transformer 기반 모델을 개발한다.
• 제어 가능한 재귀 깊이와 연산자 집합을 갖춘 합성 데이터 생성 파이프라인을 만든다.
• 확립된 기준선과 대조하여 도메인 내외 일반화를 평가한다.
• 학습된 어휘를 사용해 어휘 외 상수와 함수의 근사 능력을 입증한다.

제안 방법

• 512차원의 임베딩을 갖는 8층 Transformer 인코더-디코더를 사용하여 시퀀스를 재귀 표현식이나 다음 항 시퀀스로 매핑한다.
• 시퀀스와 후보 표현식을 트리의 접두부(폴란스) 인코딩을 사용하는 base-b 정수 인코딩과 base-10 부동소수 토큰으로 토큰 시퀀스로 표현한다.
• 교차 엔트로피 손실과 Adam 옵티마이저를 사용하고 워밍업 스케줄과 역 제곱근 감소를 적용한다.
• 일반적으로 단항·이항 연산자 트리를 무작위로 구성하고 잎(상수, 인덱스 또는 이전 항)을 샘플링하여 길이 최대 l인 시퀀스를 생성하는 방식으로 학습 데이터를 생성한다.
• 빔 서치(크기 10)로 가설을 평가하고 예측된 재귀가 초기 항을 얼마나 잘 재현하는지에 따라 재랭크한다.
• 기호적 회귀(재귀 추론)와 수치 회귀(직접 다음 항 예측)를 비교하고 도메인 내외 데이터에서 테스트한다.

실험 결과

연구 질문

• RQ1 트랜스포머가 정수 및 부동설정 모두에서 관찰된 시퀀스 항들로부터 재귀 관계를 추론하는 것을 학습할 수 있는가?
• RQ2 시그모릭 모델은 재귀적 시퀀스에서 수치 모델보다 더 높은 정밀도로 외삽하는가?
• RQ3 학습된 모델은 특정 OEIS 항목이나 어휘 외 상수 및 연산자와 같은 도메인 외 시퀀스에 얼마나 잘 일반화하는가?
• RQ4 이 설정에서 기호적 재귀 추론의 한계와 실패 모드는 무엇인가?
• RQ5 도메인 내외 시퀀스 및 성능에 영향을 주는 요인(연산자 수, 재귀 차수, 시퀀스 길이)은 무엇인가?

주요 결과

• 기호적 모델은 도메인 내 정확도가 높고, 종종 수치 모델보다 더 높은 정밀도로 더 멀리 외삽한다.
• 정수 시퀀스에서 기호적 모델은 n_op<=5에서 92.7% 정확도, 지정된 설정에서 수치 예측은 83.6%이며, 부동소수 모델은 n_op<=5에서 74.2% 기호적 및 45.6% 수치에서 달성한다.
• 정수 OEIS 하위집합 평가에서 기호적 모델은 여러 시퀀스에 대해 유효한 재귀 관계를 찾아내고 Mathematica의 FindSequenceFunction 및 FindLinearRecurrence를 보고된 설정에서 능가한다.
• 부동소수 모델은 어휘외 상수 및 함수의 근사를 보여주며 점근적 또는 정확한 표현(Bessel j0 점근) 및 pi^2/6와 같은 상수에 대한 근사치를 산출한다.
• 도메인 외 실험은 모델이 보이지 않는 재귀 및 어휘 외 토큰에 일반화할 수 있음을 나타내나, 난이도 증가와 연산자 다양성에 따라 성능이 저하된다.
• 소거 분석은 더 많은 연산자, 더 높은 재귀 차수, 더 짧은 입력 길이에서 정확도가 감소하며, 기호적 모델이 더 긴 예측 시야에 대해 더 강건한 것으로 보인다.