[논문 리뷰] SymbolicGPT: A Generative Transformer Model for Symbolic Regression

Mojtaba Valipour, Bowen You외 2명|arXiv (Cornell University)|2021. 06. 27.

Evolutionary Algorithms and Applications참고 문헌 20인용 수 37

한 줄 요약

SymbolicGPT는 기호 회귀를 언어 생성 문제로 다루며, 포인트 클라우드의 순서 불변 T-net 임베딩과 GPT 기반 스켈톤 생성기를 사용해 기호 표현식을 생성하고, 상수는 사후 최적화를 통해 채워진다.

ABSTRACT

Symbolic regression is the task of identifying a mathematical expression that best fits a provided dataset of input and output values. Due to the richness of the space of mathematical expressions, symbolic regression is generally a challenging problem. While conventional approaches based on genetic evolution algorithms have been used for decades, deep learning-based methods are relatively new and an active research area. In this work, we present SymbolicGPT, a novel transformer-based language model for symbolic regression. This model exploits the advantages of probabilistic language models like GPT, including strength in performance and flexibility. Through comprehensive experiments, we show that our model performs strongly compared to competing models with respect to the accuracy, running time, and data efficiency.

연구 동기 및 목표

• Symbolic regression을 언어 모델링 문제로 삼아 확장성 및 속도를 개선한다.
• 다변량 입력을 다루기 위한 순서 불변 데이터 임베딩을 개발한다.
• 데이터셋을 설명하는 기호 방정식 골격을 생성하는 GPT 기반 모델을 학습한다.
• 골격 생성에서 상수 최적화를 분리하여 효율성을 높인다.
• 전통적인 기호 회귀 방법과 비교해 데이터 효율성 및 추론 속도를 빠르게 입증한다.

제안 방법

• 제어된 깊이와 상수를 가지는 파스 트리 템플릿을 통해 크고 다양한 학습 방정식을 생성한다.
• 글로벌 최대 풀링이 있는 T-net을 사용해 입력 데이터셋의 순서 불변 임베딩을 생성한다.
• 데이터셋 임베딩과 초기 토큰 시퀀스를 바탕으로 골격 방정식을 생성하기 위해 GPT 언어 모델을 사용한다.
• 골격 생성 중 상수를 마스킹하고 상수는 사후 최적화 단계(BFGS)로 이관한다.
• 골격을 장식할 상수를 학습해 최종 기호 표현식을 얻는다.
• 정규화된 평균 제곱 오차를 사용해 예측 값과 실제 출력 간의 차이를 평가한다.

실험 결과

연구 질문

• RQ1 순서 불변 데이터 임베딩을 사용해 기호 회귀를 효과적으로 언어 모델링 문제로 프레이밍할 수 있는가?
• RQ2 오프라인 학습과 결합된 GPT 기반 골격 생성기가 입력 차원이 다를 때도 더 빠르고 정확한 기호 표현식을 산출하는가?
• RQ3 SymbolicGPT가 전통적 방법(GP, GP Max, DSR, MLP)과 비교해 정확도와 속도 측면에서 어떻게 성능을 보이는가?
• RQ4 하나의 학습으로 다양한 입력 변수 수에 대해 회귀에 대한 데이터 효율성과 확장성은 어떠한가?
• RQ5 후처리 상수 최적화가 골격에서 최종 표현식을 만드는 데 얼마나 효과적인가?

주요 결과

• SymbolicGPT는 실험에서 GP, GP Max, DSR, MLP보다 테스트 케이스 전반에서 더 높은 정확도를 달성한다.
• SymbolicGPT는 비교 방법들에 비해 문제를 해결하는 데 있어 상당한 속도 향상을 제공하며, 종종 한 차례의 학습으로도 빠른 속도를 보인다.
• SymbolicGPT는 입력 변수 수가 증가해도 강력한 성능을 유지하며, 1~5 변수에서 Robust함을 보인다.
• 데이터 포인트가 늘어나도 모델의 성능이 향상되며, 주어진 데이터셋 크기에 대해 항상 다른 방법들보다 더 낮은 오차를 보인다.
• 하나의 오프라인 학습은 각 새로운 회귀 인스턴스에 대해 신속한 추론을 가능하게 한다.
• 상수는 사후 최적화로 효과적으로 최적화되며, 골격 생성은 방정식의 구조적 형태를 처리한다.