[논문 리뷰] Transformer-based Planning for Symbolic Regression

Parshin Shojaee, Kazem Meidani외 2명|arXiv (Cornell University)|2023. 03. 13.

Evolutionary Algorithms and Applications인용 수 16

한 줄 요약

TPSR은 Monte Carlo Tree Search를 사전 학습된 트랜스포머 기반 심볼릭 회귀 모델과 통합하여 적합도와 복잡도를 최적화하기 위해 방정식 생성을 개선하고, 기준선보다 더 나은 균형을 달성합니다.

ABSTRACT

Symbolic regression (SR) is a challenging task in machine learning that involves finding a mathematical expression for a function based on its values. Recent advancements in SR have demonstrated the effectiveness of pre-trained transformer-based models in generating equations as sequences, leveraging large-scale pre-training on synthetic datasets and offering notable advantages in terms of inference time over classical Genetic Programming (GP) methods. However, these models primarily rely on supervised pre-training goals borrowed from text generation and overlook equation discovery objectives like accuracy and complexity. To address this, we propose TPSR, a Transformer-based Planning strategy for Symbolic Regression that incorporates Monte Carlo Tree Search into the transformer decoding process. Unlike conventional decoding strategies, TPSR enables the integration of non-differentiable feedback, such as fitting accuracy and complexity, as external sources of knowledge into the transformer-based equation generation process. Extensive experiments on various datasets show that our approach outperforms state-of-the-art methods, enhancing the model's fitting-complexity trade-off, extrapolation abilities, and robustness to noise.

연구 동기 및 목표

• 과학 및 공학 전반에서 해석 가능한 지배 방정식으로의 경로로서 심볼릭 회귀를 촉진한다.
• SR에서 토큰 수준의 사전 학습 손실의 한계를 비미분 가능 피드백(적합도 및 복잡도)을 도입하여 해결한다.
• 사전 학습된 SR 트랜스포머를 MCTS 계획으로 보강하여 방정식 발견을 최적화하는 모델 독립적인 TPSR 프레임워크를 제안한다.

제안 방법

• 트랜스포머 디코딩과 정렬되도록 방정식을 접두 표기법으로 표현한다.
• 데이터를 인코딩하고 방정식 시퀀스를 생성하기 위해 사전 학습된 SR 트랜스포머 백본을 사용한다.
• 추론 중에 Monte Carlo Tree Search (MCTS) 예측 계획을 적용하여 맞춤과 복잡도의 균형을 맞춘 커스텀 보상에 따라 토큰 선택을 안내한다.
• MCTS 내 확장 및 평가 단계를 관리하기 위해 상위-k 토큰 제한 및 빔 탐색 기반 시뮬레이션을 도입한다.
• 정규화된 MSE 기반 적합도와 복잡도에 대한 지수 페널티를 결합한 보상을 정의한다: r = 1/(1+NMSE) + λ exp(-l/L).
• MCTS 중 중복 계산을 줄이기 위해 상위-k 캐싱과 시퀀스 캐싱과 같은 캐싱 메커니즘을 도입한다.

Figure 1: Pareto plot comparing the rankings of all methods in terms of the $R^{2}$ performance and identified equation complexity for (a) SRBench Black-box datasets and (b) Feynman datasets . Our results with Transformer-based Planning (TPSR) applied on top of E2E transformer SR model improves its

실험 결과

연구 질문

• RQ1 표준 SR 벤치마크에서 TPSR이 빔 서치 및 샘플링 디코딩 전략 및 다른 기준선들을 능가하는가?
• RQ2 TPSR이 기호적 회귀 작업에서 외삽 및 노이즈에 대한 견고성을 개선할 수 있는가?
• RQ3 TPSR의 캐싱 메커니즘이 추론 시간을 크게 줄이는가?
• RQ4 개별 MCTS 구성 요소가 TPSR의 성능에 미치는 영향은 무엇인가?

주요 결과

• TPSR은 SRBench 및 도메인 내 합성 데이터 세트에서 기준선과 비교해 비슷하거나 더 낮은 방정식 복잡도에서 더 높은 적합도 정확도를 달성한다.
• TPSR은 Feynman 및 Black-box 데이터 세트에서 적합도-복잡도 트레이드오프의 첫 번째 파레토 프런트에 도달한다.
• 캐싱 메커니즘이 전체적으로 추론 시간을 약 28% 감소시키며, 시퀀스 캐싱이 가장 큰 이점을 제공한다.
• 배제 연구에서 MCTS의 롤아웃, 빔 수, 최대 확장을 증가시키면 일반적으로 성능이 향상되며, 롤아웃이 이익에 가장 크게 기여한다.
• TPSR은 스케일 변화 하에서의 외삽 및 노이즈에 대한 견고성 측면에서 E2E 트랜스포머 기준선보다 우수함을 보여준다.

Figure 2: An overview of our proposed method with MCTS-guided decoding at inference compared to the concurrent works with beam search/sampling decoding strategy.