[论文解读] An Experimental Comparison of SONC and SOS Certificates for Unconstrained Optimization

Henning Seidler, Timo de Wolff|arXiv (Cornell University)|Aug 25, 2018

Advanced Optimization Algorithms Research参考文献 11被引用 18

一句话总结

本文提出了一种多项式时间算法，通过几何规划计算无约束多项式优化的下界，利用非负电路多项式之和（SONC）。大规模实验表明，SONC/GP在速度、内存效率和可扩展性方面优于SOS/SDP——在98.9%的案例中成功计算出下界，而SOS仅在31.4%的案例中成功，尤其在大型稀疏实例中表现卓越，而SOS因内存或数值问题失败。

ABSTRACT

Finding the minimum of a multivariate real polynomial is a well-known hard problem with various applications. We present a polynomial time algorithm to approximate such lower bounds via sums of nonnegative circuit polynomials (SONC). As a main result, we carry out the first large-scale comparison of SONC, using this algorithm and different geometric programming (GP) solvers, with the classical sums of squares (SOS) approach, using several of the most common semidefinite programming (SDP) solvers. SONC yields bounds competitive to SOS in several cases, but using significantly less time and memory. In particular, SONC/GP can handle much larger problem instances than SOS/SDP.

研究动机与目标

• 为解决平方和（SOS）在多项式优化中的局限性，特别是针对大或稀疏多项式，其半定规划（SDP）带来的高计算成本和内存需求。
• 开发一种系统化、自动化的算法，用于计算具有任意牛顿多面体的多项式的SONC证书，消除人工干预的需要。
• 在多样化的多项式实例上，对SONC（通过几何规划）与SOS（通过半定规划）进行全面的大规模实验比较。
• 从运行时间、内存使用和成功概率等方面，评估SONC相对于SOS在大规模优化问题中的性能、可扩展性和鲁棒性。
• 确立SONC作为无约束多项式优化中SOS的可行、高效替代方案，尤其适用于高维和稀疏实例。

提出的方法

• 提出一种新颖算法（算法3.4），通过求解多个线性优化问题，覆盖多项式的牛顿多面体，以计算SONC证书。
• 在几何规划中使用系数的变量分割技术生成SONC分解，采用两种策略：偶数分割和变量分割。
• 在POEM软件框架中实现该算法，实现对任意稀疏多项式的端到端自动化，无需人工输入。
• 使用ECOS作为SONC计算的主要几何规划求解器，并与多个标准SDP求解器对比SOS证书。
• 构建一个包含16,921个实例的综合性测试数据库，涵盖2至40个变量、6至60次幂以及6至500个项数，包括501个平凡的单项式平方情况。
• 设定1000×1000矩阵大小为16 GB内存下SDP求解器的实际限制，用于分类因内存限制而使SOS失败的案例。

实验结果

研究问题

• RQ1 是否存在一种系统化、自动化的算法，能在多项式时间内为具有任意牛顿多面体的稀疏多项式计算SONC证书？
• RQ2 在大规模、多样化的多项式优化实例集合中，SONC/GP与SOS/SDP在运行时间、内存使用和成功率方面的性能如何比较？
• RQ3 在多少案例中，SONC成功而SOS因内存或数值问题失败，反之亦然？
• RQ4 当两者均可计算时，SONC与SOS下界的质量相对如何，其最优性差距如何比较？
• RQ5 系数分割策略选择（偶数分割 vs. 变量分割）对SONC下界的质量和速度有何影响？

主要发现

• SONC/GP在16,420个非平凡测试案例中成功计算出有效下界，占比98.9%（16,240例），而SOS/SDP仅在31.4%（5,161例）中成功。
• 在11,760例中（71.6%），SONC成功而SOS因内存限制或数值问题失败，凸显SONC在可扩展性和鲁棒性方面的优势。
• 当两种方法均成功时，SOS在3,693例（82.5%）中产生更优的下界，但在其中782例中，牛顿多面体为缩放后的标准单形，此时SOS理论上至少与SONC一样好。
• 在1,625例下界差异超过1的案例中，SONC有时产生优于SOS的下界，表明在特定实例中存在非平凡优势。
• 在超过99.5%的案例中，SONC比SOS更快，即使在最大实例（40个变量，500项）中，典型运行时间也低于5分钟。
• SONC使用的内存远少于SOS：当SDP求解器在16 GB内存下受限于约1000×1000矩阵时，SONC仍能高效处理含40个变量和500项的实例。