[论文解读] Near-optimal analysis of univariate moment bounds for polynomial optimization

Monique Laurent, Lucas Slot|arXiv (Cornell University)|Jan 30, 2020

Advanced Optimization Algorithms Research参考文献 5被引用 5

一句话总结

本文分析了多项式优化中一种单变量矩基层次方法，证明在紧集 $ K $ 满足温和几何条件（如凸性）时，其收敛速率可达 $ O(\log^2 r / r^2) $。该分析近乎最优，因为针对 $ [-1,1] $ 上的多项式，建立了匹配的 $ \Omega(1/r^2) $ 下界，其依据源于与正交多项式之间的联系。

ABSTRACT

We consider a recent hierarchy of upper approximations proposed by Lasserre (arXiv:1907.097784, 2019) for the minimization of a polynomial $f$ over a compact set $K \subseteq \mathbb{R}^n$. This hierarchy relies on using the push-forward measure of the Lebesgue measure on $K$ by the polynomial $f$ and involves univariate sums of squares of polynomials with growing degrees $2r$. Hence it is weaker, but cheaper to compute, than an earlier hierarchy by Lasserre (SIAM Journal on Optimization 21(3), 864--885, 2011), which uses multivariate sums of squares. We show that this new hierarchy converges to the global minimum of $f$ at a rate in $O(\log^2 r / r^2)$ whenever $K$ satisfies a mild geometric condition, which holds, e.g., for convex bodies. As an application this rate of convergence also applies to the stronger hierarchy based on multivariate sums of squares, which extends earlier convergence results to a wider class of compact sets. Furthermore, we show that our analysis is near-optimal by proving a lower bound on the convergence rate in $\Omega(1/r^2)$ for a class of polynomials on $K=[-1,1]$, obtained by exploiting a connection to orthogonal polynomials.

研究动机与目标

• 分析用于多项式优化的单变量矩基层次方法的收敛速率，该方法利用映射测度和单变量非负多项式平方和。
• 证明当可行集 $ K $ 满足温和几何条件（如为凸体）时，该层次方法以 $ O(\log^2 r / r^2) $ 的速率收敛。
• 通过利用单变量分析，将收敛速率结果推广至更强的多变量 SOS 层次方法。
• 通过证明在 $ [-1,1] $ 上一类多项式存在匹配的 $ \Omega(1/r^2) $ 下界，验证上界估计的紧致性。

提出的方法

• 该方法通过分析在多项式 $ f $ 下，$ K $ 上勒贝格测度的像测度（即映射测度），将问题简化为单变量矩问题。
• 采用次数递增至 $ 2r $ 的单变量多项式平方和，其计算成本低于多变量 SOS 松弛方法。
• 收敛性分析借助逼近论与正交多项式工具，尤其利用勒让德多项式与切比雪夫多项式的极值性质。
• 关键技术步骤包括：通过正交展开中系数的衰减性，界定向矩近似中的误差。
• 下界通过构造 $ [-1,1] $ 上一类特定多项式族获得，其收敛速率与上界匹配，利用了正交多项式已知的渐近性质。
• 分析将收敛速率与映射测度的正则性及 $ K $ 的几何结构（特别是闵可夫斯基泛函或曲率条件）联系起来。

实验结果

研究问题

• RQ1 在可行集 $ K $ 满足温和几何假设的条件下，单变量矩基层次方法在多项式优化中的收敛速率是多少？
• RQ2 该单变量层次方法的收敛速率是否可被证明为近乎最优，即存在匹配的下界？
• RQ3 该单变量层次方法的收敛速率结果能否推广至更强的多变量 SOS 层次方法？
• RQ4 正交多项式如何影响此情境下矩近似方法的收敛行为？
• RQ5 收敛速率对次数 $ r $ 的精确依赖关系为何？$ O(\log^2 r / r^2) $ 是否为最优可能速率？

主要发现

• 当 $ K $ 满足温和几何条件（如凸性）时，单变量矩基层次方法以 $ O(\log^2 r / r^2) $ 的速率收敛至全局最小值。
• 该收敛速率被证明近乎最优，因为在 $ [-1,1] $ 上的一类多项式中，建立了匹配的 $ \Omega(1/r^2) $ 下界。
• 该分析表明，对于同一类紧集，更强的多变量 SOS 层次方法也以 $ O(\log^2 r / r^2) $ 的速率收敛。
• 下界通过利用正交多项式的渐近性质（特别是其在 $ L^1 $-范数下的极值行为）获得。
• 结果表明，尽管单变量方法在理论上较弱，但在一大类多项式优化问题中，其实际收敛速率几乎达到最优。
• 与正交多项式的联系为理解矩基多项式优化中的收敛性提供了新的分析工具。