[論文レビュー] Neural Symbolic Regression that Scales

Luca Biggio, Tommaso Bendinelli+3 more|arXiv (Cornell University)|Jun 11, 2021

Model Reduction and Neural Networks参考文献 31被引用数 27

ひとこと要約

トランスフォーマーを基盤とする記号回帰モデルは、生成された数百万の方程式で事前学習され、その後入力出力ペアから方程式のスケルトンを予測し、定数を適合させることで、データ量と計算量の増加に応じて改善する、スケーラブルでデータ駆動型の記号回帰を可能にする。

ABSTRACT

Symbolic equations are at the core of scientific discovery. The task of discovering the underlying equation from a set of input-output pairs is called symbolic regression. Traditionally, symbolic regression methods use hand-designed strategies that do not improve with experience. In this paper, we introduce the first symbolic regression method that leverages large scale pre-training. We procedurally generate an unbounded set of equations, and simultaneously pre-train a Transformer to predict the symbolic equation from a corresponding set of input-output-pairs. At test time, we query the model on a new set of points and use its output to guide the search for the equation. We show empirically that this approach can re-discover a set of well-known physical equations, and that it improves over time with more data and compute.

研究の動機と目的

• 記号回帰を、手設計手法に代わるデータ駆動・スケーラブルな選択肢として動機づける。
• 生成された方程式を用いた記号回帰の大規模な事前学習フレームワークを導入する。
• 入力-出力データから方程式のスケルトンを予測するパラメトリックな記号回帰子モデルを学習する。
• 事前学習の規模、推論時の計算量、データ点数が性能に与える影響を評価する。
• 複数の記号回帰ベンチマークに対する拡張性と頑健性を実証する。

提案手法

• 入力-出力ペアの集合を方程式のスケルトン（定数を後で適合させるプレースホルダー付き）へ写像するTransformerを事前学習させる。
• 方程式を前置記法で表現し、後で適合させる定数のプレースホルダー記号を用いる。
• 何億にも及ぶ手続き的に生成された方程式で訓練し、記号表現の事前分布を学習する。
• テスト時には、与えられたデータをエンコードし、ビーム探索でスケルトン候補をサンプリングし、非線形最適化（例：BFGS）で定数を適合させる。
• 変数サイズの入力集合を順序不変に処理するSet Transformerエンコーダを用い、標準的なTransformerデコーダでデコードする。
• 推定される方程式を、さまざまなデータセット（AIF、SOOSE、Nguyen）上で分布内および分布外の指標で真実値と比較して評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模な事前学習から学習した記号回帰子モデルは、手設計の記号回帰法を上回ることができるか。
• RQ2 事前学習データ量が、推論時の記号回帰性能にどのような影響を与えるか。
• RQ3 入力出力ペアと入力変数の数が方法のスケーリングにどう影響するか。
• RQ4 分布内の方程式セットと分布外の方程式セットでの性能はどうなるか。
• RQ5 推論時の計算量と精度のトレードオフはどうなるか。

主な発見

• NeSymReSは事前学習データが増えるにつれて改善し、同等の計算リソース下でデータセット間で最先端のベースラインを上回る。
• 推論時には、他のベースラインと比較して、特にAI-Feynman（AIF）で少ない計算量で高い精度を達成する。
• 推論時の入力出力ペア数が多いほど性能が向上し、データ点数が大きく異なる場合でも頑健性を保つ。
• Set Transformer設計により、入力出力点数と入力次元の増加に対して直線的にスケールする。
• 大規模な方程式分布での事前学習により、未知の方程式（SOOSE）や長い式にも一般化できる。
• NeSymReSは同等の精度でCPU上のベースラインよりはるかに高速である（オーダーの差）。