[論文レビュー] Neural-Guided Symbolic Regression with Semantic Prior.

Li Li, Minjie Fan+2 more|arXiv (Cornell University)|Jan 23, 2019

Model Reduction and Neural Networks被引用数 7

ひとこと要約

本稿では、シンボリック回帰のためのニューラルガイド付きモンテカルロ木探索（NG-MCTS）を提案する。この手法は、入力の極限における主項のべき乗の性質といった意味的事前知識を統合したニューラルネットワークを用いて、式の探索をガイドする。この方法は、訓練データの外側の式を含む、正確で一般化可能なシンボリック式の発見において、ベースラインを著しく上回る性能を示す。

ABSTRACT

Symbolic regression has been shown to be quite useful in many domains from discovering scientific laws to industrial empirical modeling. Existing methods focus on numerically fitting the given data. However, in many domains, symbolically derivable properties of the desired expressions are known. We illustrate these semantic priors with leading powers (the polynomial behavior as the input approaches 0 and $\infty$). We introduce an expression generating neural network that significantly favors the generation of expressions with desired leading powers, even generalizing to powers not in the training set. We then describe our Neural-Guided Monte Carlo Tree Search (NG-MCTS) algorithm for symbolic regression. We extensively evaluate our method on thousands of symbolic regression tasks and desired expressions to show that it significantly outperforms baseline algorithms and exhibits discovery of novel expressions outside of the training set.

研究の動機と目的

• 既存のシンボリック回帰手法が、目的式の既知の意味的性質を無視するという限界に対処すること。
• 入力の極限における多項式的挙動といったドメイン固有の知識を、シンボリック式探索プロセスに統合すること。
• 訓練データに存在しない未観測の主項のべき乗に対しても一般化可能なニューラルガイド付き探索アルゴリズムを開発すること。
• 意味的事前知識をニューラルガイドとして活用することで、数千のベンチマークタスクにおけるシンボリック回帰の性能を向上させること。

提案手法

• ニューラルネットワークを訓練し、訓練中に観測されていなくても、入力→0および∞における特定の主項のべき乗（挙動）を優先する式を生成するようにする。
• ニューラルネットワークはモンテカルロ木探索（MCTS）フレームワーク内のポリシー・モデルとして機能し、望ましい意味的性質を持つ式への探索をガイドする。
• NG-MCTSはニューラルポリシーと木探索を統合し、意味的制約を尊重しながらも、シンボリック式空間の効率的探索を可能にする。
• 式生成のバックプロパゲーションを可能にする微分可能アーキテクチャを用いることで、ニューラルポリシーのエンドツーエンド訓練を可能にする。
• 意味的事前知識は、主に漸近的挙動に注目した、ニューラルネットワークのアーキテクチャおよび損失関数へのインダクティブバイアスとして符号化される。
• 探索プロセスは、ニューラルポリシーのスコアと木探索の統計を併用して制御され、探索と活用のバランスが取られる。

実験結果

リサーチクエスチョン

• RQ1 既知の意味的事前知識（例：主項のべき乗）を組み込んだニューラルガイド付き探索手法は、シンボリック回帰の性能を向上させることができるか？
• RQ2 訓練中に見られなかった主項のべき乗に対し、この手法はどの程度一般化できるか？
• RQ3 NG-MCTSは、多様なシンボリック回帰タスクにおいて、標準的なシンボリック回帰ベースラインを上回るか？
• RQ4 この手法は、訓練データ外の新しい正確な式をどの程度発見できるか？
• RQ5 ニューラル生成とMCTSの統合は、シンボリック式探索においてどの程度効果的か？

主な発見

• NG-MCTSは、数千のシンボリック回帰タスクにおいてベースラインアルゴリズムを著しく上回り、優れた精度と高いサンプル効率を示した。
• ニューラルガイド付きアプローチは、訓練データに存在しない主項のべき乗に対しても一般化可能であり、強力なインダクティブバイアス学習の可能性を示した。
• 本手法は、訓練データに含まれない新しいシンボリック式を効果的に発見でき、補間を超えた真の一般化を示した。
• ニューラルガイドによる意味的事前知識の統合は、制約のない探索に比べ、収束が速く、より高品質な解が得られることを示した。
• ニューラルポリシーは、入力の極限における望ましい漸近的挙動（例：0および∞における多項式的増加）を効果的に捉え、式探索の質を向上させた。