[論文レビュー] Learning selection strategies in Buchberger's algorithm

Dylan Peifer, Michael Stillman+1 more|arXiv (Cornell University)|May 5, 2020

Polynomial and algebraic computation参考文献 30被引用数 11

ひとこと要約

本論文は、グレブナー基底を計算するバッハバーガーのアルゴリズムにおけるSペア選択を最適化する強化学習アプローチを導入する。ランダムな二項式系上でプロキシマル・ポリシー最適化（PPO）を用いてエージェントを訓練し、訓練済みエージェントは最先端のヒューリスティクスと比較して多項式加算を20–40%削減した。これは機械学習が記号計算のパフォーマンスを顕著に向上させられることを示している。

ABSTRACT

Studying the set of exact solutions of a system of polynomial equations largely depends on a single iterative algorithm, known as Buchberger's algorithm. Optimized versions of this algorithm are crucial for many computer algebra systems (e.g., Mathematica, Maple, Sage). We introduce a new approach to Buchberger's algorithm that uses reinforcement learning agents to perform S-pair selection, a key step in the algorithm. We then study how the difficulty of the problem depends on the choices of domain and distribution of polynomials, about which little is known. Finally, we train a policy model using proximal policy optimization (PPO) to learn S-pair selection strategies for random systems of binomial equations. In certain domains, the trained model outperforms state-of-the-art selection heuristics in total number of polynomial additions performed, which provides a proof-of-concept that recent developments in machine learning have the potential to improve performance of algorithms in symbolic computation.

研究の動機と目的

• 最適でないSペア選択が引き起こすバッハバーガーのアルゴリズムにおける性能ボトルネックを解消すること。
• 強化学習がグレブナー基底計算のための優れた選択戦略を発見できるかを検証すること。
• アルゴリズム的学習のための実用的で関連性のあるベンチマークドメインとして二項イデアルを確立すること。
• 学習済みポリシーの一般化性能を異なる多項式分布およびシステムサイズ間で評価すること。
• 高変数システムおよび非二項イデアルへのスケーラビリティを調査すること。

提案手法

• 状態、行動、報酬の要素を備えた強化学習環境としてバッハバーガーのアルゴリズムを形式化した。
• 状態を現在のSペアと多項式の集合として定義し、行動をSペア選択に対応させた。
• 還元の進行具合と多項式加算回数に基づく密集報酬関数を設計し、ポリシー学習を支援した。
• 価値関数のブートストラップに一般化された優位性推定（GAE）を用いたプロキシマル・ポリシー最適化（PPO）を用いて、ディープQネットワークポリシーを訓練した。
• 入力特徴量として単項式の次数と先行項を符号化した単純な順方向ニューラルネットワークをポリシーおよび価値関数の表現に使用した。
• 複数の分布（一様、重み付き）およびシステムサイズ（3-20-10、5-10-10など）でパフォーマンスを評価した。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、バッハバーガーのアルゴリズムにおいて、手作業で設計されたヒューリスティクスを上回る効果的なSペア選択戦略を学習できるか？
• RQ2 学習済みポリシーの性能は、異なる二項式系の分布にわたって一般化されるか？
• RQ3 システムサイズおよび変数数の変化が、学習済み戦略のスケーラビリティに与える影響は何か？
• RQ4 非二項イデアルでは学習済みポリシーはどの程度の性能を示し、スパース多項式系に適応可能か？
• RQ5 GAEによる価値関数近似は、学習の安定性および最終的なパフォーマンスを顕著に向上させるか？

主な発見

• PPOで訓練されたエージェントは、3-20-10の重み付き二項式分布において、最良のベンチマークヒューリスティクスと比較して、合計の多項式加算回数を20–40%削減した。
• エージェントは優れた一般化性能を示し、近接する分布およびシステムサイズでも競争力のある性能を発揮したが、極端に分布外の設定では性能劣化が見られた。
• 5変数の二項式系では、5-10-10の重み付き分布において、最良のベンチマークより48%も少ない加算回数を達成した。
• スパース多項式を含む非二項イデアルでは、エージェントの性能は二様的であった：多くのインスタンスで全ベンチマークを上回ったが、他のインスタンスではランダムに振る舞い、中央値の結果は良好だったものの平均性能は悪化した。
• GAEで訓練された価値関数はパフォーマンス向上に重要な貢献をした。これは、各ステップで完全なロールアウト推定を可能にし、学習の安定性と収束性を向上させた。
• エージェントのポリシーに基づいて導出されたヒューリスティクス「TrueDegree」は、非二項テストセットにおいて、最良のベンチマークより平均性能で19–33%優れていた。