[論文レビュー] Combining Symbolic Expressions and Black-box Function Evaluations in Neural Programs

Forough Arabshahi, Sameer Singh+1 more|arXiv (Cornell University)|Jan 12, 2018

Machine Learning and Data Classification被引用数 9

ひとこと要約

本論文は、木LSTMを用いて記号的式とブラックボックス関数評価を統合する、数学的式学習における一般化を向上させるための新しいニューラルプログラミングフレームワークを提案する。記号的構造と数値的関数出力を同時にモデル化することで、訓練データが限られている状況でも、未観測の式や数値にまで一般化できる。方程式検証および補完タスクにおいて最先端の性能を達成した。

ABSTRACT

Neural programming involves training neural networks to learn programs, mathematics, or logic from data. Previous works have failed to achieve good generalization performance, especially on problems and programs with high complexity or on large domains. This is because they mostly rely either on black-box function evaluations that do not capture the structure of the program, or on detailed execution traces that are expensive to obtain, and hence the training data has poor coverage of the domain under consideration. We present a novel framework that utilizes black-box function evaluations, in conjunction with symbolic expressions that define relationships between the given functions. We employ tree LSTMs to incorporate the structure of the symbolic expression trees. We use tree encoding for numbers present in function evaluation data, based on their decimal representation. We present an evaluation benchmark for this task to demonstrate our proposed model combines symbolic reasoning and function evaluation in a fruitful manner, obtaining high accuracies in our experiments. Our framework generalizes significantly better to expressions of higher depth and is able to fill partial equations with valid completions.

研究の動機と目的

• ブラックボックス関数評価や詳細な実行トレースに依存する既存のニューラルプログラミングモデルの一般化性能の低さを是正すること。
• 関数と変数間の構造的関係を表す記号的式と、ブラックボックス関数評価を併用することで、モデルの一般化性能を向上させること。
• 同一の記号的式ツリーにわたる重み共有を活用して、複数の数学的関数を同時に学習できるスケーラブルで柔軟なアーキテクチャを設計すること。
• 訓練用に、記号的恒等式と関数評価の両方がバランスよく網羅されるデータ生成戦略を開発すること。
• 三角関数および初等代数分野における方程式検証および補完タスクにおいて、本フレームワークを評価し、優れた性能と一般化能力を示すこと。

提案手法

• 同じ関数に対して共有パラメータを用いることで、複数の数学的関数を同時に学習できるように、記号的式ツリーを木LSTMで符号化する。
• 数値入力をブラックボックス関数評価から得るため、木LSTMを拡張し、数値を10進表現として符号化する。
• 記号的恒等式の検証と関数評価の予測の両方を含むハイブリッドトレーニング目的関数を用いる。
• 数値の符号化を木構造で行うことで、推論時に未観測の数値に対しても一般化が可能になるようにする。
• 多様な記号的恒等式と対応する関数評価ペアをバランスよくカバーするデータ生成パイプラインを設計する。
• 方程式補完タスクの評価指標として、トップ-k正解率とトップ-k最小MSEを用い、記号的タスクと関数評価タスクを区別する。

実験結果

リサーチクエスチョン

• RQ1 記号的式とブラックボックス関数評価を組み合わせることで、単独で使用する場合よりも、ニューラルプログラム学習における一般化性能が向上するか？
• RQ2 木構造による符号化を用いたニューラルモデルは、訓練データに存在しない未観測の数学的式や数値に対し、どの程度一般化できるか？
• RQ3 記号的構造を組み込むことで、順序付きまたは非木構造的モデルと比較して、方程式補完および検証タスクでの性能が向上するか？
• RQ4 提案されたデータ生成戦略が、ドメイン全体にわたりバランスよく網羅的カバーを確保しているか、どの程度の水準か？
• RQ5 モデルは、三角関数や代数といった異なる数学的分野間で知識を転送できるか？また、学習された表現は意味的に整合したクラスタリングを示すか？

主な発見

• 記号的式と関数評価の両方を入力に用いた本研究の木LSTMモデルは、関数評価データのみまたは記号的データのみを用いたモデルと比較して、方程式補完タスクにおけるトップ-1正解率が顕著に高い。
• 木構造を持つモデル、特に木LSTMは、方程式検証および補完タスクの両方で順序付きモデルを上回り、構成的構造をモデル化することが重要であることを示している。
• 未観測の数値や記号的式に対しても、高い信頼性の予測が得られるなど、モデルは未観測の値や構造に対しても効果的に一般化している。
• 関数評価タスクでは、すべてのk値において、木LSTMは木ニューラルネットワーク（Tree NN）よりもトップ-k最小MSEが低く、より正確で信頼性の高い予測を実現している。
• 記号的式補完タスクでは、複数の正しい候補を高い信頼性で生成する一方で、関数評価タスクでは正しい唯一の値を正しく特定している。
• 記号的式と関数評価の統合により、特にk=1の状況で顕著な性能向上が得られ、両データタイプの相補性が顕著に示された。