[论文解读] Interior-point methods for unconstrained geometric programming and scaling problems

Peter Bürgisser, Yinan Li+2 more|arXiv (Cornell University)|Aug 27, 2020

Advanced Optimization Algorithms Research参考文献 36被引用 7

一句话总结

本文针对无约束几何规划的内点法提出了一种基于条件的分析，引入了与牛顿多面体相关的几何条件数，以建立迭代复杂度界限。该研究在多面体的一般与组合假设下，对矩阵缩放和平衡问题的最新结果进行了推广，并在全单峰模实例中实现了更优的复杂度界限。

ABSTRACT

We provide a condition-based analysis of two interior-point methods for unconstrained geometric programs, a class of convex programs that arise naturally in applications including matrix scaling, matrix balancing, and entropy maximization. Our condition numbers are natural geometric quantities associated with the Newton polytope of the geometric program, and lead to diameter bounds on approximate minimizers. We also provide effective bounds on the condition numbers both in general and under combinatorial assumptions on the Newton polytope. In this way, we generalize the iteration complexity of recent interior-point methods for matrix scaling and matrix balancing. Recently, there has been much work on algorithms for certain optimization problems on Lie groups, known as capacity and scaling problems. For commutative groups, these problems reduce to unconstrained geometric programs, which serves as a particular source of motivation for our work.

研究动机与目标

• 为无约束几何规划的内点法提供基于条件的分析，这类问题源于矩阵缩放、平衡和熵最大化等凸优化问题。
• 基于正单项式的牛顿多面体定义自然的几何条件数，以建立近似最小化器的直径界限。
• 在一般情况和组合假设（如全单峰模）下，推导这些条件数的有效上下界。
• 通过统一框架，推广并改进近期关于矩阵缩放和平衡问题的迭代复杂度结果。
• 利用新型条件数和多面体几何，为几何规划及其相关缩放问题建立紧致的迭代复杂度界限。

提出的方法

• 基于牛顿多面体的几何特性，特别是面间隙和到各面的距离，引入一个条件数，以衡量问题的条件性。
• 将内点法应用于对数尺度变量下的变换凸问题，此时目标函数变为 $ F(x) = \log \sum_{i=1}^k q_i e^{\langle \omega_i, x \rangle} $。
• 利用 $ F(x) $ 的梯度定义相关缩放问题，该问题推广了矩阵和张量缩放。
• 利用指数矩阵的全单峰模性质，推导面间隙的下界和单位面复杂度，确保条件数有界。
• 应用克莱姆法则和子行列式界，建立原点到牛顿多面体各面距离的下界。
• 在全单峰模假设下，推导出几何规划的迭代复杂度界限为 $ \tilde{O}(\sqrt{k} \log(1/\delta)) $，缩放问题的界限为 $ \tilde{O}(\sqrt{k} \log(1/\varepsilon)) $。

实验结果

研究问题

• RQ1 如何利用基于牛顿多面体几何的条件数来分析无约束几何规划内点法的迭代复杂度？
• RQ2 对于一般情况和具有组合结构的牛顿多面体，条件数的有效上下界是什么？
• RQ3 能否通过统一的几何框架恢复并改进矩阵缩放和平衡问题的内点法迭代复杂度？
• RQ4 全单峰模在确保有界条件数和更紧致复杂度界限中起到什么作用？
• RQ5 牛顿多面体的面间隙如何影响几何规划内点法的收敛速度？

主要发现

• 本文基于牛顿多面体的面间隙和到原点的距离，建立了一个条件数，该条件数决定了内点法的迭代复杂度。
• 对于牛顿多面体条件良好的实例，该方法在几何规划中实现 $ \tilde{O}(\sqrt{k} \log(1/\delta)) $ 次迭代，即可达到 $ \delta $-精度。
• 在全单峰模条件下，面间隙有下界 $ n^{-1/2} $，单位面复杂度至多为 $ n $，从而导出有效的条件数界限。
• 缩放问题的迭代复杂度为 $ \tilde{O}(\sqrt{k} \log(1/\varepsilon)) $，与当前矩阵缩放的最先进结果相当，且略有改进。
• 牛顿多面体任意面到原点的距离下界为 $ \Omega(n^{-3/2}) $，这在单峰模情况下确保了条件数有界。
• 该分析通过将先前关于矩阵缩放和平衡的结果嵌入更广泛的几何规划框架中，实现了推广，并提供了精确的复杂度保证。