[論文レビュー] Neural-Guided Symbolic Regression with Asymptotic Constraints

Li Li, Minjie Fan+2 more|arXiv (Cornell University)|Jan 23, 2019

Machine Learning and Algorithms参考文献 32被引用数 13

ひとこと要約

本稿では、x→0 および x→∞ における所望の多項式の先行項の次数に適合した生成規則を条件付きニューラルネットワークで生成する、漸近的制約を伴うニューラルガイド付き記号回帰を提案する。この手法は、大規模な記号的空間を効率的に探索できるニューラルガイド付きモンテカルロ木探索（NG-MCTS）に統合されており、10^50を超える探索空間を有する数千のタスクにおいて、71%の成功を達成した。これは先行手法を著しく上回る結果である。

ABSTRACT

Symbolic regression is a type of discrete optimization problem that involves searching expressions that fit given data points. In many cases, other mathematical constraints about the unknown expression not only provide more information beyond just values at some inputs, but also effectively constrain the search space. We identify the asymptotic constraints of leading polynomial powers as the function approaches zero and infinity as useful constraints and create a system to use them for symbolic regression. The first part of the system is a conditional production rule generating neural network which preferentially generates production rules to construct expressions with the desired leading powers, producing novel expressions outside the training domain. The second part, which we call Neural-Guided Monte Carlo Tree Search, uses the network during a search to find an expression that conforms to a set of data points and desired leading powers. Lastly, we provide an extensive experimental validation on thousands of target expressions showing the efficacy of our system compared to exiting methods for finding unknown functions outside of the training set.

研究の動機と目的

• 従来の手法がスケーリングに失敗する、指数関数的に増加する巨大な記号的空間における記号回帰の課題に対処すること。
• x→0 および x→∞ における挙動という漸近的制約を、検索をガイドし一般化性能を向上させるための意味的事前知識として統合すること。
• 訓練データ外の先行項の次数に対しても一般化可能な、所望の先行項の次数に条件付けられた有効な生成規則を生成するニューラルネットワークの開発。
• データ適合性と漸近的制約を満たす解に至る可能性の高い式の探索を確率的にガイドするニューラルモデルを用いたニューラルガイド付きモンテカルロ木探索（NG-MCTS）の設計。
• 数千のターゲット式を用いた実験的検証を通じて、内挿と外挿の両面で優れた性能を示すこと。

提案手法

• 指定された x→0 および x→∞ における先行項の次数に応じて、有効な文法生成規則を予測する条件付き生成規則生成ニューラルネットワークを学習する。
• ニューラルネットワークは、漸近的挙動に条件付けられた構文的に有効な式の分布を学習し、訓練時に見られなかった先行項の次数に対しても一般化可能である。
• ニューラルガイド付きモンテカルロ木探索（NG-MCTS）は、ニューラルモデルを用いて木の展開をガイドし、有望な式のパスに高い確率を割り当てる。
• NG-MCTSアルゴリズムは、ニューラル方策スコアを用いて探索と活用のバランスを保ち、データと漸近的制約を満たす可能性の高い式が得られるノードを優先的に処理する。
• 記号的回帰とニューラルガイドの統合により、10^50を超えるサイズの式空間を効率的に走査可能である。
• 本手法は内挿（訓練データへの適合）と外挿（未学習の入力への一般化）の両方をサポートし、RMSEと先行項の次数のずれを指標として性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 x→0 および x→∞ における漸近的制約を、巨大な式空間における記号回帰のガイドとして効果的に用いることができるか？
• RQ2 訓練時に見られなかった先行項の次数に対しても、ニューラルネットワークが有効な生成規則を一般化して生成できるか？
• RQ3 モンテカルロ木探索にニューラルガイドを統合することで、ベースライン手法と比較して記号回帰の性能が顕著に向上するか？
• RQ4 提案手法のNG-MCTSは、特に訓練ドメイン外への一般化において、どのように性能を示すか？
• RQ5 訓練データのノイズが、NG-MCTSシステムのロバストネスと一般化性能に与える影響は何か？

主な発見

• NG-MCTSは、数千の記号的回帰タスクにおいて71%の成功率を達成したのに対し、次に優れたベースライン手法は23%にとどまった。
• 本手法は、10^50を超える式空間サイズの問題を効果的に解消でき、極めて巨大な探索空間へのスケーラビリティを示した。
• ノイズを含む訓練設定下でも、NG-MCTSは最小の中央値外挿誤差（Δg_ext. = 0.256）と中央値の先行項次数ずれゼロ（ΔP[g] = 0）を維持し、優れたロバストネスを示した。
• 条件付き生成規則生成ニューラルネットワークは、訓練分布外の未学習の先行項次数に対しても効果的に一般化でき、訓練データ外の新しい有効な式を生成できた。
• NG-MCTSは、標準MCTSおよび進化的アルゴリズム（EA）を著しく上回り、特に外挿性能と漸近的制約の活用において顕著な優位性を示した。
• ノイズを含む訓練データでも、NG-MCTSは優れた性能を維持し、中央値外挿誤差が他の手法と比較して3〜4倍低い水準に抑えられ、中央値の先行項次数誤差はゼロを達成した。