[论文解读] Experience with Heuristics, Benchmarks & Standards for Cylindrical Algebraic Decomposition

Matthew England, James H. Davenport|arXiv (Cornell University)|Sep 1, 2016

Polynomial and algebraic computation参考文献 51被引用 3

一句话总结

本文倡导符号计算领域借鉴可满足性检查（SMT）领域的启发式方法、基准测试集与标准，以柱状代数分解（CAD）为案例研究。文章基于对CAD启发式设计与基准测试开发的实证经验，提出改进现有数据集的建议，并呼吁建立协作性标准，以推动算法性能提升与可复现性。

ABSTRACT

In the paper which inspired the SC-Square project, [E. Abraham, Building Bridges between Symbolic Computation and Satisfiability Checking, Proc. ISSAC '15, pp. 1-6, ACM, 2015] the author identified the use of sophisticated heuristics as a technique that the Satisfiability Checking community excels in and from which it is likely the Symbolic Computation community could learn and prosper. To start this learning process we summarise our experience with heuristic development for the computer algebra algorithm Cylindrical Algebraic Decomposition. We also propose and discuss standards and benchmarks as another area where Symbolic Computation could prosper from Satisfiability Checking expertise, noting that these have been identified as initial actions for the new SC-Square community in the CSA project, as described in [E.~Abraham et al., SC$^2$: Satisfiability Checking meets Symbolic Computation (Project Paper)}, Intelligent Computer Mathematics (LNCS 9761), pp. 28--43, Springer, 2015].

研究动机与目标

• 探究SMT中启发式方法如何被适配以改进符号计算中的柱状代数分解（CAD）算法。
• 通过提出新的、多样化的CAD基准测试集，解决符号计算领域缺乏标准化基准与评估框架的问题。
• 通过识别符号计算与SMT领域在算法性能与评估方面的共同挑战，促进两领域间的协作。
• 评估现有基准数据集（如nlsat）的局限性，并提出更具代表性、非均匀分布的问题集以支持CAD研究。
• 探索整合多个CAD实现并通过元算法选择最优实现的可行性，受SMT求解器架构的启发。

提出的方法

• 调研了CAD中现有的启发式方法，包括人工设计的代数特征以及支持向量机等机器学习技术。
• 分析了当前基准数据集（如nlsat）的局限性，其问题表现出高度同质性，且受Gröbner基预处理的过度影响。
• 提出通过真实世界问题来源扩展基准测试集，例如Todai Robot项目，该平台从自然语言数学问题中生成复杂的CAD问题。
• 利用大规模随机数据集评估GB预处理对CAD性能的影响，结果表明其在某些情况下可能降低性能。
• 建议开发类似SMT-LIB的统一基准标准，以支持符号计算领域实现公平且可复现的评估。
• 探索了基于问题特征，利用元算法在多个CAD实现（如Qepcad、Mathematica、Redlog、SyNRAC、ProjectionCAD）之间智能选择或组合的潜力。

实验结果

研究问题

• RQ1 SMT求解器中的启发式方法如何被适配以改进柱状代数分解（CAD）算法中的决策过程？
• RQ2 当前CAD基准数据集（如nlsat）的关键局限性是什么？如何改进以避免偏差与同质性？
• RQ3 与应用驱动型基准相比，随机生成的示例在多大程度上能公平评估CAD实现？
• RQ4 如何利用元算法智能选择或组合多个CAD实现？SMT求解器可提供哪些经验教训？
• RQ5 社区级标准与共享基准库在推动符号计算发展方面应扮演何种角色？如何建立此类标准？

主要发现

• nlsat基准数据集多样性不足，其中大量问题受Gröbner基预处理的辅助，可能扭曲性能评估结果。
• GB预处理虽在某些情况下有帮助，但在其他情况下可能降低CAD性能，表明其并非在所有问题上均最优，不应默认采用。
• Todai Robot项目提供了丰富且尚未被充分利用的真实世界自然发生CAD问题来源，源自高风险数学考试。
• 现有CAD基准通常源自极少数问题类别，引入了隐藏的同质性，限制了性能评估的泛化能力。
• 符号计算领域尚无类似SMT-LIB的标准化基准与评估框架，而SMT-LIB已显著推动SMT领域的发展。
• 由于组合爆炸，CAD决策的启发式方法组合极具挑战，SMT社区或可提供管理此类决策权衡的洞见。