[论文解读] A hierarchy of spectral relaxations for polynomial optimization

Ngoc Hoang Anh Mai, Victor Magron+1 more|arXiv (Cornell University)|Jul 17, 2020

Advanced Optimization Algorithms Research被引用 4

一句话总结

本文通过将约束多项式问题重新表述为在球面上的问题，提出了一种多项式优化的谱松弛层次结构，从而在半定松弛中利用常数迹性质（CTP）。通过采用专门设计的谱方法最小化矩阵束的最大特征值，而非内点法，该方法在中等规模问题上实现了对全局最优解的收敛，同时提升了计算效率。

ABSTRACT

We show that (i) any constrained polynomial optimization problem (POP) has an equivalent formulation on a variety contained in an Euclidean sphere and (ii) the resulting semidefinite relaxations in the moment-SOS hierarchy have the constant trace property (CTP) for the involved matrices. We then exploit the CTP to avoid solving the semidefinite relaxations via interior-point methods and rather use ad-hoc spectral methods that minimize the largest eigenvalue of a matrix pencil. Convergence to the optimal value of the semidefinite relaxation is guaranteed. As a result we obtain a hierarchy of nonsmooth "spectral relaxations" of the initial POP. Efficiency and robustness of this spectral hierarchy is tested against several equality constrained POPs on a sphere as well as on a sample of randomly generated quadratically constrained quadratic problems (QCQPs).

研究动机与目标

• 解决通过内点法求解时刻-SOS层次结构中半定松弛的高计算成本问题。
• 利用多项式优化问题（POPs）产生的半定松弛中的常数迹性质（CTP）。
• 通过基于最大特征值最小化的谱方法，开发一种替代内点法的可扩展方法。
• 在降低计算负担的同时，确保对球面和球体上约束多项式优化问题的全局最优解收敛。
• 在等式约束POPs和随机生成的QCQPs上测试所提谱层次结构的效率和鲁棒性。

提出的方法

• 将任意定义在基本紧致半代数集上的约束多项式优化问题（POP）等价地重述为嵌入在欧几里得球面内的代数簇上的问题。
• 证明由此产生的时刻-SOS松弛继承了常数迹性质（CTP），从而支持基于特征值的求解方法。
• 用专门设计的谱方法替代标准的内点法，以最小化对称矩阵束的最大特征值。
• 利用基于CTP的SDP的对偶形式，将问题转化为最小化最大特征值，适用于一阶或Bundle方法。
• 应用有限内存Bundle方法（LMBM）求解由此产生的非光滑、非凸特征值最小化问题，并保证全局收敛。
• 将时刻松弛转化为带迹约束的标准SDP形式，以支持高效实现和数值测试。

实验结果

研究问题

• RQ1 能否将约束多项式优化问题等价地重述在球面上，以使其半定松弛中具备常数迹性质？
• RQ2 利用常数迹性质是否能够在不牺牲收敛性的情况下，实现半定松弛的更快、更可扩展求解？
• RQ3 基于最大特征值最小化的谱方法在中等规模POPs上是否比内点法具有更高的计算效率？
• RQ4 所提出的谱层次结构在等式约束QCQPs以及单位球面和球体上随机生成的四次问题上的鲁棒性和效率如何？
• RQ5 CTP对时刻矩阵结构及由此产生的松弛的数值条件性有何影响？

主要发现

• 任何约束多项式优化问题均可等价地重述为欧几里得球面内代数簇上的问题，且保持全局最优解不变。
• 此类重述问题所产生的时刻-SOS松弛具备常数迹性质（CTP），从而支持基于特征值的求解技术。
• 所提出的谱层次结构可收敛至原始POPs的全局最优解，其收敛性由时刻-SOS层次结构的性质保证。
• 数值实验表明，对于单位球面上的等式约束QCQPs，谱方法在计算时间和可扩展性方面优于内点求解器。
• 对于单位球体上随机生成的密集QCQPs，谱方法表现出鲁棒性能，内存使用更少，收敛速度更快，优于标准SDP求解器。
• 该方法对一般实例可实现有限步收敛，与已知的时刻-SOS层次结构的有限收敛性一致，同时避免了内点法的高成本。