[論文レビュー] Transformer-based Planning for Symbolic Regression

Parshin Shojaee, Kazem Meidani+2 more|arXiv (Cornell University)|Mar 13, 2023

Evolutionary Algorithms and Applications被引用数 16

ひとこと要約

TPSR は Monte Carlo Tree Search を事前訓練済みトランスフォーマー・シンボリック回帰モデルと統合し、適合精度と複雑さのバランスを最適化する式生成を実現し、ベースラインより良いトレードオフを達成します。

ABSTRACT

Symbolic regression (SR) is a challenging task in machine learning that involves finding a mathematical expression for a function based on its values. Recent advancements in SR have demonstrated the effectiveness of pre-trained transformer-based models in generating equations as sequences, leveraging large-scale pre-training on synthetic datasets and offering notable advantages in terms of inference time over classical Genetic Programming (GP) methods. However, these models primarily rely on supervised pre-training goals borrowed from text generation and overlook equation discovery objectives like accuracy and complexity. To address this, we propose TPSR, a Transformer-based Planning strategy for Symbolic Regression that incorporates Monte Carlo Tree Search into the transformer decoding process. Unlike conventional decoding strategies, TPSR enables the integration of non-differentiable feedback, such as fitting accuracy and complexity, as external sources of knowledge into the transformer-based equation generation process. Extensive experiments on various datasets show that our approach outperforms state-of-the-art methods, enhancing the model's fitting-complexity trade-off, extrapolation abilities, and robustness to noise.

研究の動機と目的

• 科学技術全体の解釈可能な governing 方程式への道としての象徴回帰を動機づける。
• SR におけるトークンレベルの事前学習損失の限界を、適合精度と複雑さという非微分可能なフィードバックを組み込むことで addressing。
• 事前訓練済み SR トランスフォーマーに MCTS 計画を組み合わせて方程式発見を最適化する、モデルに依存しない TPSR フレームワークを提案する。

提案手法

• 式を prefix 表記で表現し、トランスフォーマーのデコードと整合させる。
• データをエンコードし、式列を生成するための事前訓練済み SR トランスフォーマー・バックボーンを使用する。
• 推論時に Monte Carlo Tree Search (MCTS) のルックアヘッド計画を適用し、適合度と複雑さをバランスする独自報酬でトークン選択を導く。
• MCTS 内の展開と評価ステップを管理するために top-k トークン制約とビーム探索ベースのシミュレーションを組み込む。
• 正規化 MSE ベースの適合度と複雑さに対する指数ペナルティを組み合わせた報酬を定義： r = 1/(1+NMSE) + λ exp(-l/L)。
• MCTS 中での計算の重複を減らすためのキャッシュ機構（top-k キャッシュとシーケンスキャッシュ）を導入する。

Figure 1: Pareto plot comparing the rankings of all methods in terms of the $R^{2}$ performance and identified equation complexity for (a) SRBench Black-box datasets and (b) Feynman datasets . Our results with Transformer-based Planning (TPSR) applied on top of E2E transformer SR model improves its

実験結果

リサーチクエスチョン

• RQ1 TPSR は標準 SR ベンチマーク上でビームサーチやサンプリングデコード戦略、他のベースラインより優れているか。
• RQ2 TPSR はシンボリック回帰タスクにおける外挿とノイズ耐性を改善できるか。
• RQ3 TPSR のキャッシュ機構は推論時間を大幅に削減するか。
• RQ4 TPSR の個々の MCTS コンポーネントが性能に与える影響はどの程度か。

主な発見

• TPSR は SRBench および ドメイン内合成データセットにおいて、同等または低い式の複雑さでより高い適合精度を達成する。
• TPSR は Feynman データセットと Black-box データセット上で、適合-複雑さのパレート前線の第一に到達する。
• キャッシュ機構は推論時間を全体で約 28%削減し、シーケンスキャッシュが最も顕著な効果を示す。
• アブレーション研究では、MCTS のロールアウト、ビーム、最大展開を増やすと通常性能が向上し、ロールアウトが特に寄与が大きい。
• TPSR はスケール変動下での外挿性とノイズ耐性が、E2E トランスフォーマーのベースラインよりも優れていることを示す。

Figure 2: An overview of our proposed method with MCTS-guided decoding at inference compared to the concurrent works with beam search/sampling decoding strategy.