[论文解读] Algorithmically generating new algebraic features of polynomial systems for machine learning

Dorian Florescu, Matthew England|arXiv (Cornell University)|Jun 3, 2019

Polynomial and algebraic computation参考文献 42被引用 5

一句话总结

本文提出了一种从多项式系统中算法化生成代数特征的框架，以提升在柱状代数分解（CAD）中选择变量排序的机器学习（ML）模型性能。通过在既定框架内系统枚举特征，该方法显著提升了ML性能——计算时间仅比最优最小值高出6%，相比人工设计的启发式方法效率提升四倍，并在使用78个特征时，KNN模型的准确率达到66.3%，而先前工作仅使用11个特征。

ABSTRACT

There are a variety of choices to be made in both computer algebra systems (CASs) and satisfiability modulo theory (SMT) solvers which can impact performance without affecting mathematical correctness. Such choices are candidates for machine learning (ML) approaches, however, there are difficulties in applying standard ML techniques, such as the efficient identification of ML features from input data which is typically a polynomial system. Our focus is selecting the variable ordering for cylindrical algebraic decomposition (CAD), an important algorithm implemented in several CASs, and now also SMT-solvers. We created a framework to describe all the previously identified ML features for the problem and then enumerated all options in this framework to automatically generation many more features. We validate the usefulness of these with an experiment which shows that an ML choice for CAD variable ordering is superior to those made by human created heuristics, and further improved with these additional features. We expect that this technique of feature generation could be useful for other choices related to CAD, or even choices for other algorithms with polynomial systems for input.

研究动机与目标

• 为解决符号计算中机器学习应用的特征有限且信息量不足的问题，特别是在非线性实数理论（NRA）中。
• 提升机器学习模型在选择柱状代数分解（CAD）最优变量排序方面的性能，CAD是实数上量化消除的关键算法。
• 开发一种系统化、自动化的算法，从多项式系统中生成大量相关且代数推导的特征，而无需复杂投影计算。
• 验证这些算法生成的特征是否能带来优于人工设计启发式方法和先前特征集的ML决策性能。

提出的方法

• 作者定义了一个正式框架，用于描述此前已识别的所有CAD变量排序ML特征，从而实现对所有可能特征组合的系统枚举。
• 通过组合基本代数属性（如变量频率、多项式次数和系数分布）直接从输入多项式中生成大量新特征——共78个。
• 该方法避免了如Gröbner基计算或投影等计算成本高昂的操作，确保特征生成的低成本。
• 将生成的特征用于在多项式系统基准数据集上训练多种ML模型（决策树DT、K近邻KNN、多层感知机MLP、支持向量机SVM），以预测最优变量排序。
• 通过在测试集上评估选择最佳排序的准确率和总计算时间来衡量性能。

实验结果

研究问题

• RQ1 是否可以通过系统化、算法化的方法生成显著更多且更有效的特征，用于符号计算中的机器学习？
• RQ2 与人工设计的启发式方法相比，使用这些自动生成的特征是否能提升ML模型在CAD变量排序选择中的性能？
• RQ3 与最优基线相比，这些新特征在CAD变量排序决策中能将计算时间减少多少？
• RQ4 这些新特征集的优势是否在不同ML模型间保持一致，且可推广至当前问题之外？

主要发现

• K-最近邻（KNN）模型的总计算时间最快，为9,178秒，仅比理论最小值8,623秒高出6%。
• 新特征集（78个特征）使总计算时间仅比最优值高6%，而先前11个特征集则高出14%。
• 所有ML模型均优于人工启发式方法：Brown启发式耗时10,951秒（高出最小值27%），而KNN仅耗时9,178秒（高出6%）。
• 最佳ML模型（KNN）在时间与最小值的相对距离上，比最佳人工启发式（Brown）快4倍，后者在标准化时间-最小值度量中得分为4.16。
• 超过75%的测试问题使用ML模型在最小时间的1%以内解决，而人工启发式方法通常显著超出此阈值。
• 新特征生成框架产生的特征往往非直观且难以用自然语言描述，凸显了算法化特征设计相比人工驱动设计的优势。