[論文レビュー] Learning to Discover Efficient Mathematical Identities

Wojciech Zaremba, Karol Kurach+1 more|arXiv (Cornell University)|Jun 6, 2014

Natural Language Processing Techniques参考文献 28被引用数 35

ひとこと要約

この論文は、演算子の文法を用いて記号的式木を探索することで、計算的に効率的な数学的恒等式を学習ベースで発見するフレームワークを紹介する。n-gramモデルと単純な恒等式で訓練された再帰的ニューラルネットワーク（RNN）を用いることで、O(n³)の計算をO(n²)に削減するような、ブルートフォースや手作業による探索では不可能な複雑で低複雑度の代替表現を効率的に発見する。

ABSTRACT

In this paper we explore how machine learning techniques can be applied to the discovery of efficient mathematical identities. We introduce an attribute grammar framework for representing symbolic expressions. Given a set of grammar rules we build trees that combine different rules, looking for branches which yield compositions that are analytically equivalent to a target expression, but of lower computational complexity. However, as the size of the trees grows exponentially with the complexity of the target expression, brute force search is impractical for all but the simplest of expressions. Consequently, we introduce two novel learning approaches that are able to learn from simpler expressions to guide the tree search. The first of these is a simple n-gram model, the other being a recursive neural-network. We show how these approaches enable us to derive complex identities, beyond reach of brute-force search, or human derivation.

研究の動機と目的

• 複雑な記号的式に対して計算的に効率的な数学的恒等式を発見するという課題に対処すること。
• 与えられたターゲット式に対してすべての可能な式木を列挙する際の探索空間の指数的増加を克服すること。
• 単純な式の解を一般化して学習し、効率的な恒等式への探索をガイドすること。
• 計算複雑度を指数的または立方体的時間から二次時間に削減する、新たな恒等式の自動発見を可能にすること。
• 学習された探索戦略が、複雑でかつ従来では到達不可能であった式に対して、ランダム探索やブルートフォース法を上回ることを示すこと。

提案手法

• 数学的演算子の正当な合成を定義する属性文法フレームワークを用いて記号的式を形式化する。
• 各ノードが演算子または被演算子に対応する文法規則から構築された木構造として式を表現する。
• n-gramモデルを用いて、単純なターゲット（例：k=2からk=5）から得られた成功した式木における繰り返しパターンを学習する。
• 再帰的ニューラルネットワーク（RNN）を用いて、記号的式の連続的ベクトル表現を学習し、複雑度を最小化するように木における次の演算を予測する。
• トランスファー学習を適用：RNNを式表現で事前学習し、その後ターゲット式への効率的な次のステップを予測するように微調整する。
• 学習されたモデルに従う探索戦略を用いて有望な部分木を探索し、全列挙を回避する。

実験結果

リサーチクエスチョン

• RQ1 単純な恒等式で訓練された機械学習モデルは、より複雑な式に対して効率的な恒等式を一般化して発見できるか？
• RQ2 n-gramおよびRNNベースのモデルは、低複雑度の記号的恒等式を発見する際、ランダム探索やブルートフォース法をどの程度上回るか？
• RQ3 n-gramとRNNの各シーケンスモデリング手法は、記号的式木の構造的パターンをどの程度効果的に捉えられるか？
• RQ4 このフレームワークは、手作業による導出や全列挙では不可能なほど複雑な恒等式を発見できるか？
• RQ5 式の複雑度（例：次数k）が増加するに従い、学習ガイド付き探索戦略のスケーラビリティはどの程度か？

主な発見

• n-gramおよびRNNベースの探索戦略は、行列式の例としてsum(sum(A*B))や高次積に対して、O(n³)からO(n²)への計算複雑度の削減を実現する恒等式を成功裏に発見した。
• k=6の場合、sum(sum((A*B)^k))に対してO(n²)の恒等式が発見されたが、これはブルートフォースやランダム探索では到達不可能であった。
• 3-gramモデルは繰り返し構造（例：A*Bの交互パターン）に対してRNNを上回り、k=2およびk=3で100%の成功率を達成した。
• 最も複雑なクラス（RBM-2）においては、k>5ではいかなる手法もランダム探索を上回らなかったが、RNNはk=5の解を著しく速やかに発見した（100±12秒 vs. 438±77秒）。
• 式木の可能な組み合わせ数はkとともに急激に増加する：k=6では9,785に達し、これ以上のkでは全列挙は現実的でない。
• 再帰的ニューラルネットワークは、構造的パターンにわたる有意味な連続的表現を学習し、効果的な一般化を可能にした。