[論文レビュー] Deep Symbolic Regression for Recurrent Sequences

Stéphane d’Ascoli, Pierre-Alexandre Kamienny+2 more|arXiv (Cornell University)|Jan 12, 2022

Evolutionary Algorithms and Applications被引用数 26

ひとこと要約

論文は Transformer モデルを用いて初期項から再帰関係を推定し、OEIS および語彙外の定数を評価して、純粋な数値外挿よりも記号回帰の利点を示す。

ABSTRACT

Symbolic regression, i.e. predicting a function from the observation of its values, is well-known to be a challenging task. In this paper, we train Transformers to infer the function or recurrence relation underlying sequences of integers or floats, a typical task in human IQ tests which has hardly been tackled in the machine learning literature. We evaluate our integer model on a subset of OEIS sequences, and show that it outperforms built-in Mathematica functions for recurrence prediction. We also demonstrate that our float model is able to yield informative approximations of out-of-vocabulary functions and constants, e.g. $\operatorname{bessel0}(x)\approx \frac{\sin(x)+\cos(x)}{\sqrt{πx}}$ and $1.644934\approx π^2/6$. An interactive demonstration of our models is provided at https://symbolicregression.metademolab.com.

研究の動機と目的

• 整数および浮動小数点数の列から再帰を推測する課題を動機づける。
• 再帰表現の記号的および数値回帰を実行する Transformer ベースのモデルを開発する。
• 再帰深さと演算子集合を制御できる合成データ生成パイプラインを作成する。
• 分野内および分野外の一般化を既存のベースラインと比較して評価する。
• 学習済み語彙で語彙外の定数や関数を近似する能力を示す。

提案手法

• シーケンスを再帰式や次項列へ写像するために、512 次元埋め込みを用いた8 層の Transformer エンコーダ-デコーダを使用する。
• シーケンスと候補表現を、基数 b の整数エンコードと基数 10 の浮動小数点トークンを用いたトークン列として表現し、ツリーの前置（ポリッシュ）エンコードを用いる。
• クロスエントロピー損失と Adam オプティマイザで学習し、ウォームアップスケジュールと逆平方根減衰を用いる。
• 葉ノード（定数、インデックス、または前の項）をランダムにサンプリングして単項・二項演算子ツリーを構築し、長さ up to l のシーケンスを生成する。
• 仮説をビーム探索（サイズ 10）で評価し、予測された再帰が初期項をどれだけ再現するかで再ランク付けする。
• 記号回帰（再帰推論）と数値回帰（直接次項予測）を比較し、分野内および分野外のデータでテストする。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーは整数設定と浮動小数設定の両方で、観測された数列の項から再帰関係を推定することを学習できるか。
• RQ2 記号モデルは、再帰列に対して数値モデルより高い精度で外挿できるか。
• RQ3 学習済みモデルは、特定の OEIS のエントリや語彙外の定数・演算子などの分野外データにどの程度一般化できるか。
• RQ4 この設定における記号的再帰推論の制限と失敗モードは何か。
• RQ5 分野内と分野外の列をモデルはどのように扱い、演算子数、再帰次数、シーケンス長といった要因が性能にどのように影響するか。

主な発見

• 記号モデルは分野内で高い精度を達成し、しばしば数値モデルよりも高精度で長期外挿を行う。
• 整数列では、記号モデルは n_op≤5 で 92.7%、数値予測で 83.6% の精度を達成し、浮動小数モデルは n_op≤5 の下で 74.2% の記号、45.6% の数値を達成する。
• 整数 OEIS サブセットの評価では、記号モデルがいくつかの列の有効な再帰関係を取得でき、報告された設定で Mathematica の FindSequenceFunction および FindLinearRecurrence を上回る。
• 浮動小数モデルは語彙外の定数や関数を近似する能力を示し、漸近的または厳密な式（例：ベッセル函数 j0 の漸近）を生み出し、π^2/6 のような定数にも近似を提供する。
• 分野外の実験は、見知らぬ再帰や語彙外トークンへの一般化が可能であることを示すが、難易度と演算子多様性の増加に伴い性能は低下する。
• アブレーション分析では、演算子数の増加、再帰次数の増加、入力長の短さにより精度が低下し、記号モデルは長期の予測ホライズンに対してより頑健であることを示す。