[論文レビュー] Algorithmically generating new algebraic features of polynomial systems for machine learning

Dorian Florescu, Matthew England|arXiv (Cornell University)|Jun 3, 2019

Polynomial and algebraic computation参考文献 42被引用数 5

ひとこと要約

本論文は、多項式系から代数的特徴をアルゴリズム的に生成するフレームワークを提示し、実数上での量化子除去に用いられる円筒代数的分解（CAD）の変数順序選択における機械学習（ML）モデルの性能を向上させる。定義されたフレームワーク内で特徴を体系的に列挙することで、ML性能が著しく向上し、計算時間を最適最小値の6%上回るまでに低下した。これは人間が設計したヒューリスティクスを4倍の効率で上回り、KNNを用いた78個の特徴で66.3%の精度を達成した一方で、先行研究では11個の特徴であった。

ABSTRACT

There are a variety of choices to be made in both computer algebra systems (CASs) and satisfiability modulo theory (SMT) solvers which can impact performance without affecting mathematical correctness. Such choices are candidates for machine learning (ML) approaches, however, there are difficulties in applying standard ML techniques, such as the efficient identification of ML features from input data which is typically a polynomial system. Our focus is selecting the variable ordering for cylindrical algebraic decomposition (CAD), an important algorithm implemented in several CASs, and now also SMT-solvers. We created a framework to describe all the previously identified ML features for the problem and then enumerated all options in this framework to automatically generation many more features. We validate the usefulness of these with an experiment which shows that an ML choice for CAD variable ordering is superior to those made by human created heuristics, and further improved with these additional features. We expect that this technique of feature generation could be useful for other choices related to CAD, or even choices for other algorithms with polynomial systems for input.

研究の動機と目的

• 非線形実数論理（NRA）における、限られたかつ情報のない特徴の問題に対処すること。
• 実数上での量化子除去の主要アルゴリズムである円筒代数的分解（CAD）の最適な変数順序選択における機械学習モデルの性能を向上させること。
• 複雑な射影を必要とせず、多項式系から関連性の高い代数的特徴を多数自動生成する体系的かつ自動化された手法を開発すること。
• アルゴリズム的に生成された特徴が、人間が設計したヒューリスティクスや先行の特徴集合と比較して、より優れたML意思決定をもたらすことを検証すること。

提案手法

• 著者らは、CAD変数順序選択のためのこれまでに同定されたML特徴をすべて記述する形式的フレームワークを定義し、すべての可能な特徴組み合わせを体系的に列挙可能にする。
• 入力多項式から直接導出される基本的な代数的性質（変数頻度、多項式次数、係数分布など）を組み合わせることで、合計78個の新しい特徴を生成する。
• グレブナー基底計算や射影といった計算コストの高い操作を回避することで、低コストな特徴生成を実現する。
• ベンチマーク用の多項式系データセット上で、複数のMLモデル（決定木（DT）、K近傍法（KNN）、多層パーセプトロン（MLP）、サポートベクターマシン（SVM））を訓練し、最適な変数順序を予測する。
• 性能評価は、テストセット全体における最良の順序選択の正答率と合計計算時間の両面で実施する。

実験結果

リサーチクエスチョン

• RQ1 体系的かつアルゴリズム的なアプローチにより、記号計算における機械学習のための、はるかに多数かつ効果的な特徴集合を生成できるか？
• RQ2 これらの自動生成特徴を用いることで、人間が設計したヒューリスティクスと比較して、CADの変数順序選択におけるMLモデルの性能が向上するか？
• RQ3 新しい特徴は、CAD変数順序選択意思決定における最適ベースラインと比較して、計算時間をどの程度短縮するか？
• RQ4 新しい特徴セットの利点は、さまざまなMLモデルにわたって一貫しており、現在の問題を超えて一般化可能か？

主な発見

• K近傍法（KNN）モデルが最も速い合計計算時間9,178秒を記録し、理論的最小値8,623秒の6%上回りにとどまった。
• 新しい特徴セット（78特徴）では合計計算時間が最適値の6%上回り、先行の11特徴セットでは14%上回っていた。
• すべてのMLモデルが人間が設計したヒューリスティクスを上回った：ブラウンヒューリスティクスは10,951秒（最適値の27%上回り）、KNNは9,178秒（最適値の6%上回り）であった。
• 最良のMLモデル（KNN）は最良の人間ヒューリスティクス（ブラウン）よりも4倍に近い最適時間に到達しており、時間対最小値スケーリング尺度では4.16の値を示した。
• MLモデルを用いた場合、テスト問題の75%以上が最小時間の1%以内で解決されたが、人間のヒューリスティクスはしばしばこの閾値を著しく上回った。
• 新しい特徴生成フレームワークにより、直感的ではなく自然言語で説明するのが難しい特徴が生成された。これは、アルゴリズム的特徴設計が人間主導の設計を上回る利点を示している。