[论文解读] Certification of Real Inequalities -- Templates and Sums of Squares

Xavier Allamigeon, Stéphane Gaubert+2 more|arXiv (Cornell University)|Mar 24, 2014

Advanced Optimization Algorithms Research参考文献 1被引用 5

一句话总结

本文提出了一种结合最大值逼近法、非线性模板与稀疏平方和松弛法的认证全局优化方法，用于实值多变量超越函数。该方法通过平衡近似粗糙度与计算可处理性，实现了对中等规模问题中紧密非线性不等式（如Flyspeck项目中的不等式）的可扩展、精确认证，优于区间算术与标准多项式求解器。

ABSTRACT

We consider the problem of certifying lower bounds for real-valued multivariate transcendental functions. The functions we are dealing with are nonlinear and involve semialgebraic operations as well as some transcendental functions like $\cos$, $\arctan$, $\exp$, etc. Our general framework is to use different approximation methods to relax the original problem into polynomial optimization problems, which we solve by sparse sums of squares relaxations. In particular, we combine the ideas of the maxplus estimators (originally introduced in optimal control) and of the linear templates (originally introduced in static analysis by abstract interpretation). The nonlinear templates control the complexity of the semialgebraic relaxations at the price of coarsening the maxplus approximations. In that way, we arrive at a new - template based - certified global optimization method, which exploits both the precision of sums of squares relaxations and the scalability of abstraction methods. We analyze the performance of the method on problems from the global optimization literature, as well as medium-size inequalities issued from the Flyspeck project.

研究动机与目标

• 开发一种可扩展且认证可靠的多变量超越函数下界验证方法，涉及半代数与超越运算。
• 解决区间算术与高次多项式逼近在处理中等维度、相关性强且紧密的不等式时的局限性。
• 将最大值逼近法与线性模板整合到混合框架中，以减少多项式优化问题中的提升变量与多项式约束。
• 通过生成机器可检查的平方和证明，实现借助Coq等证明助手对数值证书的正式验证。
• 改进Flyspeck项目及文献中具有挑战性的全局优化问题的性能，特别是包含相关反正切项与紧密边界的问题。

提出的方法

• 该方法使用非线性模板将复杂的超越函数抽象为分段半代数近似，从而降低后续多项式优化的复杂度。
• 采用最大值逼近法构建原始函数的粗略但精确的下界，随后通过模板抽象进行细化。
• 通过稀疏平方和（SOS）松弛法求解所得的松弛多项式优化问题，利用半定规划实现认证下界。
• 引入一种称为 `reduce_lift` 的简化技术，以在逼近半代数函数（如含平方根的分式）时最小化提升变量数量。
• 该框架支持从字典中组合包含指数、对数、三角函数与幂函数的函数，并可扩展至具有有界Hessian矩阵的拟凸/拟凹函数。
• 该方法已实现为工具链，可生成用于Coq等证明助手验证的正式证书，确保端到端可信性。

实验结果

研究问题

• RQ1 结合最大值逼近法与非线性模板的混合方法是否能在认证超越函数全局下界方面同时实现可扩展性与精确性？
• RQ2 在中等规模问题上，基于模板的抽象方法与区间算术及高次多项式逼近相比，在边界质量与计算成本方面表现如何？
• RQ3 在不牺牲边界质量的前提下，SOS松弛中提升变量与多项式约束的数量最多可减少多少？
• RQ4 该框架能否有效处理Flyspeck项目中常见的包含反正切与平方根函数的紧密相关不等式？
• RQ5 生成的数值证书是否适合在Coq等证明助手环境中进行正式验证？

主要发现

• 基于模板的方法在Flyspeck不等式上的表现优于区间算术：例如，对于不等式 9922699028，该方法认证得到下界 0，而区间算术仅得到 -0.87。
• 对于不等式 9922699028，使用 3 个提升变量与 4 个平方根近似时，该方法在 241 秒内计算出认证下界，显著快于仅使用 1 个提升变量的粗略近似所需 1080 秒。
• 在涉及多项式反正切的随机测试问题上，采用四阶SOS松弛与3个模板节点的方法在 3.8 秒内（n=3）得到下界，而MATLAB工具箱intsolver耗时 15.5 秒。
• 对于一个6变量问题（OXLZLEZ6346351218_2_0），该方法在 20,520 秒内使用 24 个盒子与 3 个模板节点计算出认证下界，而intsolver工具耗时超过 12,000 秒。
• `reduce_lift` 变体在某例中成功将提升变量数减少两个，展示了系统化生成多项式模板的方法，尽管对高阶SOS松弛会带来更高的计算成本。
• 该方法对下确界值低于 10⁻³ 的问题实现了紧密认证，证实其在形式数学证明中常见的高度约束、紧密不等式问题上的有效性。