[論文レビュー] Deep Learning for Symbolic Mathematics

Guillaume Lample, François Charton|arXiv (Cornell University)|Dec 2, 2019

Natural Language Processing Techniques参考文献 29被引用数 47

ひとこと要約

著者らは、シーケンス対シーケンスモデルが記号数学を効果的に実行できることを示しており、式をプレフィックス木として表現し、大規模な合成データセットを生成することで、記号的積分や常微分方程式の解法において Matlab/Mathematica に競合する、あるいはそれを上回ることを示している。

ABSTRACT

Neural networks have a reputation for being better at solving statistical or approximate problems than at performing calculations or working with symbolic data. In this paper, we show that they can be surprisingly good at more elaborated tasks in mathematics, such as symbolic integration and solving differential equations. We propose a syntax for representing mathematical problems, and methods for generating large datasets that can be used to train sequence-to-sequence models. We achieve results that outperform commercial Computer Algebra Systems such as Matlab or Mathematica.

研究の動機と目的

• ニューラル seq2seq モデルに適した数学的問題を表現するための構文を提案する。
• 積分や ODE を含む記号的タスクのための大規模で多様なデータセットを生成する。
• シンボリック解を予測するためのトランスフォーマーベースのモデルを訓練し、CAS ツールと比較して評価する。
• これらのタスクでニューラルモデルが商用システムを上回ることを示す。

提案手法

• 式を木として表現し、それをプレフィックス列としてエンコードして seq2seq モデルに入力する。
• 演算子/リーフの数を制御したランダムな式を生成し、組み合わせ空間（Catalan 数/Schroeder 数）を調べる。
• 積分問題のためのフォワード、バックワード、および部分積分データ生成パイプラインを作成し、解ける1次および2次のODEを生成する方法を追加する。
• Adam を用いて、デコーディング時にビーム探索を使い候補解を生成する、Transformer モデル（ヘッド数 8、層数 6、隠れ層 512）を訓練する。
• 参照解と比較した記号的同値性チェックで、モデル生成解を評価する（利用可能な場合は CAS 出力とも比較）。
• タイムアウトやさままなビーム幅の下で Mathematica、Maple、Matlab との性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル seq2seq モデルは、合成データから記号的積分を行い微分方程式を解くことを学べるか？
• RQ2 データ生成戦略（FWD、BWD、IBP）がモデルの学習と一般化にどう影響するか？
• RQ3 これらの記号的タスクにおいて、ニューラルモデルは従来のComputer Algebra Systemsをどの程度上回れるか？
• RQ4 ビーム探索は記号的問題解決の精度にどう影響するか？
• RQ5 生成された解は記号的同値性の下で参照解と等価か？

主な発見

タスク	ビームサイズ 1	ビームサイズ 10	ビームサイズ 50
Integration (FWD)	93.6	95.6	96.2
Integration (BWD)	98.4	99.4	99.7
Integration (IBP)	96.8	99.2	99.5
ODE (order 1)	77.582	90.547	93.973
ODE (order 2)	43.014	73.021	81.166

• 3つのデータ生成方法にわたる積分で、Greedy デコードを用いてほぼ100%の精度を達成している。
• Beam size significantly improves ODE solving: order-1 improves from 77.6% (beam 1) to 90.5% (beam 10) to 93.97% (beam 50); order-2 improves from 43.0% (beam 1) to 73.0% (beam 10) to 81.17% (beam 50).
• On a held-out test set of 500 equations, Mathematica with a 30s timeout solves 84.0% for BWD integration, while the neural model with beam 50 reaches 99.6% for integration in some configurations and 97.0% for order-2 ODEs.
• Overall, neural models significantly outperform Mathematica on integration and, with larger beams, outperform Mathematica on ODEs as well.
• The model can generate multiple equivalent but differently written solutions for a problem, demonstrating nontrivial symbolic equivalence recognition without explicit training for equivalence.