[論文レビュー] Deep symbolic regression: Recovering mathematical expressions from data via risk-seeking policy gradients
DSRは再帰型ニューラルネットワークを用いて記号表現の空間を探索し、最善ケースの回収を最大化するリスク志向のポリシー勾配で学習することで、Nguyenのシンボリック回帰ベンチマークにおいて基礎線を上回る。
Discovering the underlying mathematical expressions describing a dataset is a core challenge for artificial intelligence. This is the problem of $ extit{symbolic regression}$. Despite recent advances in training neural networks to solve complex tasks, deep learning approaches to symbolic regression are underexplored. We propose a framework that leverages deep learning for symbolic regression via a simple idea: use a large model to search the space of small models. Specifically, we use a recurrent neural network to emit a distribution over tractable mathematical expressions and employ a novel risk-seeking policy gradient to train the network to generate better-fitting expressions. Our algorithm outperforms several baseline methods (including Eureqa, the gold standard for symbolic regression) in its ability to exactly recover symbolic expressions on a series of benchmark problems, both with and without added noise. More broadly, our contributions include a framework that can be applied to optimize hierarchical, variable-length objects under a black-box performance metric, with the ability to incorporate constraints in situ, and a risk-seeking policy gradient formulation that optimizes for best-case performance instead of expected performance.
研究の動機と目的
- データから簡潔な数学的表現を発見するという目的で、シンボリック回帰を動機づける。
- 制約の下で式木を生成するニューラル自己回帰フレームワークの開発。
- シンボリック回帰で最善性能を最適化するためのリスク志向のポリシー勾配の導入。
- 探索過程での現場制約と定数最適化を可能にする。
提案手法
- 式を、RNNによって自己回帰的に生成された式木の先行順序走査として表現する。
- トークン採択時に階層的構造を捉えるため、親および兄弟文脈入力を提供する。
- 定義された探索空間内で有効なサンプルを維持するため、トークン確率に現場制約を課す。
- 木を具体化し定数を最適化し、正規化RMSE(NRMSE)に基づく報酬を計算して式を評価する。
- 最上位(1-ε)の報酬を最適化するリスク志向のポリシー勾配で訓練し、エントロピー報酬を付与する。
- NguyenベンチマークスイートでPQT、VPG、GP、Eureqa、Wolframなどのベースラインと比較する。
実験結果
リサーチクエスチョン
- RQ1ニューラル自己回帰モデルは、データから正確な記号表現を回復するために、数学的表現の空間を効果的に探索できるか。
- RQ2リスク志向のポリシー勾配は、シンボリック回帰における標準のポリシー勾配よりも最善ケースの回収性能を改善するか。
- RQ3現場制約と定数最適化が、回収された式の品質と解析可能性にどう影響するか。
- RQ4ノイズやデータセットサイズの変動に対して、アプローチはどれだけロバストか。
主な発見
| ベンチマーク | 式 | DSR | PQT | VPG | GP | Eureqa | Wolfram |
|---|---|---|---|---|---|---|---|
| Nguyen-1 | x^3+x^2+x | 100% | 100% | 96% | 100% | 100% | 100% |
| Nguyen-2 | x^4+x^3+x^2+x | 100% | 99% | 47% | 97% | 100% | 100% |
| Nguyen-3 | x^5+x^4+x^3+x^2+x | 100% | 86% | 4% | 100% | 95% | 100% |
| Nguyen-4 | x^6+x^5+x^4+x^3+x^2+x | 100% | 93% | 1% | 100% | 70% | 100% |
| Nguyen-5 | sin(x^2)cos(x)-1 | 72% | 73% | 5% | 45% | 73% | 2% |
| Nguyen-6 | sin(x)+sin(x+x^2) | 100% | 98% | 100% | 91% | 100% | 1% |
| Nguyen-7 | log(x+1)+log(x^2+1) | 35% | 41% | 3% | 0% | 85% | 0% |
| Nguyen-8 | sqrt(x) | 96% | 21% | 5% | 5% | 0% | 71% |
| Nguyen-9 | sin(x)+sin(y^2) | 100% | 100% | 100% | 100% | 100% | – |
| Nguyen-10 | 2sin(x)cos(y) | 100% | 91% | 99% | 76% | 64% | – |
| Nguyen-11 | x^y | 100% | 100% | 100% | 7% | 100% | – |
| Nguyen-12 | x^4-x^3+1/2 y^2 - y | 0% | 0% | 0% | 0% | 0% | – |
| Average | - | 83.6% | 75.2% | 46.7% | 60.1% | 73.9% | – |
- Nguyenベンチマークで、DSRは正確な式回収においていくつかのベースラインを上回る。
- リスク志向目的は、平均性能を犠牲にしても最善ケースの性能を高める。
- 制約と定数最適化を伴うDSRは、ノイズとデータセットサイズの変動に対して高い回収率を維持する。
- RNNへの自己回帰的・階層的入力は、可変長の木構造式を効果的に扱う。
- 多くのベンチマークでPQTとVPG（標準のポリシー勾配）はDSRに及ばない。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。