[論文レビュー] Deep symbolic regression: Recovering mathematical expressions from data via policy gradients

Brenden K. Petersen|arXiv (Cornell University)|Dec 10, 2019

Evolutionary Algorithms and Applications被引用数 9

ひとこと要約

本論文は、方策勾配を用いて再帰的ニューラルネットワーク（RNN）を用いて、ノイズありおよびノイズなしのデータから最適な数学的式を探索する深層強化学習フレームワークを提案する。この手法は、遺伝的プログラミングを著しく上回り、複雑な式の正確な回復を可能にする。本手法は、記号的回帰を逐次的意思決定問題として扱い、事前制約を組み込むことで、正確な複雑な式の回復を実現する。

ABSTRACT

Discovering the underlying mathematical expressions describing a dataset is a core challenge for artificial intelligence. This is the problem of symbolic regression. Despite recent advances in training neural networks to solve complex tasks, deep learning approaches to symbolic regression are lacking. We propose a framework that combines deep learning with symbolic regression via a simple idea: use a large model to search the space of small models. More specifically, we use a recurrent neural network to emit a distribution over tractable mathematical expressions, and employ reinforcement learning to train the network to generate better-fitting expressions. Our algorithm significantly outperforms standard genetic programming-based symbolic regression in its ability to exactly recover symbolic expressions on a series of benchmark problems, both with and without added noise. More broadly, our contributions include a framework that can be applied to optimize hierarchical, variable-length objects under a black-box performance metric, with the ability to incorporate a priori constraints in situ.

研究の動機と目的

• データから元の数学的式を同定するという課題に取り組むこと。これは人工知能および科学的発見分野における中心的問題である。
• 従来のディープラーニング手法における記号的回帰の限界を克服すること。特に、複雑な式に対する効果的な探索メカニズムが欠如している点を改善する。
• ブラックボックス評価指標下で、階層的かつ可変長の記号的式の空間を効率的かつ微分可能に探索できるフレームワークを開発すること。
• 事前制約（例：変数型、関数形）を探索プロセスに直接統合することで、学習済み式の汎化性能と解釈可能性を向上させること。
• ベンチマーク問題において、標準的な遺伝的プログラミングと比較して、正確な記号的式の回復性能が優れていることを示すこと。

提案手法

• 再帰的ニューラルネットワーク（RNN）を方策勾配により訓練し、式のトークン列としての記号的式を生成する。探索空間を逐次的意思決定プロセスとしてモデル化する。
• RNNは、式における次の可能なシンボルの確率分布を出力し、数学的式の空間における確率的探索を可能にする。
• 強化学習により、生成された式が観測データにどの程度適合するかに基づく報酬を用いてRNN方策を最適化する。正確な一致は高い報酬を受ける。
• 本手法は可変長式と階層的構造をサポートしており、ネストされた関数や演算子を含む複雑な数学的構造を扱える。
• 変数型や関数形などの制約は、アクション空間または報酬形状に直接符号化可能であり、ドメイン知識の即時統合が可能である。
• フレームワークは方策勾配法を用いてエンドツーエンドに訓練され、RNNを介して勾配が逆伝播され、時間経過とともに式生成の精度が向上する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習アプローチは、従来の遺伝的プログラミングに比べ、データから正確な記号的式を回復する能力で優れているか？
• RQ2 本手法は、ノイズレベルが異なるデータセットに対し、どの程度一般化性能を示すか？
• RQ3 聴覚的制約（例：関数形、変数型）を記号的式探索プロセスにどの程度統合できるか？
• RQ4 ブラックボックス評価指標下で、階層的かつ可変長の記号的構造を効果的に探索できるか？
• RQ5 方策勾配の使用により、勾配フリーの進化的手法と比較して、より効率的かつ正確な記号的回帰が可能になるか？

主な発見

• 提案手法は、ノイズありおよびノイズなしの両状況下で、ベンチマーク問題において標準的な遺伝的プログラミングを著しく上回る記号的式の回復性能を達成した。
• 本フレームワークは、従来の進化的アルゴリズムが発見しにくい複雑な数学的式の正確な回復に成功した。
• ノイズに対して高いロバストネスを示し、訓練データに顕著な摂動が含まれても高い精度を維持した。
• 事前制約を探索プロセスに統合することで、発見された式の品質と解釈可能性が向上した。
• 方策勾配の使用により、記号的式の空間に対する効果的で微分可能な探索が可能となり、収束が速く、一般化性能も向上した。
• 本アプローチは、ブラックボックス評価下で構造的・階層的・可変長のオブジェクトの最適化を伴う他のタスクに対しても一般化可能である。