[论文解读] Interior-point algorithms for convex optimization based on primal-dual metrics

Tor G. J. Myklebust, Levent Tunçel|arXiv (Cornell University)|Nov 8, 2014

Advanced Optimization Algorithms Research参考文献 39被引用 6

一句话总结

本文提出了一种基于对数同质自共轭障碍 Hessian 的线积分构造的变度量的新型原始-对偶内点算法，用于凸优化。该算法在一般凸锥下实现了最佳已知的迭代复杂度 $ O(\theta^{1/2} \tan^{-1}(1/\theta)) $，与对称锥规划的复杂度相匹配，并建立了与黎曼几何及高斯求积法的联系，从而实现高效计算。

ABSTRACT

We propose and analyse primal-dual interior-point algorithms for convex optimization problems in conic form. The families of algorithms we analyse are so-called short-step algorithms and they match the current best iteration complexity bounds for primal-dual symmetric interior-point algorithm of Nesterov and Todd, for symmetric cone programming problems with given self-scaled barriers. Our results apply to any self-concordant barrier for any convex cone. We also prove that certain specializations of our algorithms to hyperbolic cone programming problems (which lie strictly between symmetric cone programming and general convex optimization problems in terms of generality) can take advantage of the favourable special structure of hyperbolic barriers. We make new connections to Riemannian geometry, integrals over operator spaces, Gaussian quadrature, and strengthen the connection of our algorithms to quasi-Newton updates and hence first-order methods in general.

研究动机与目标

• 开发适用于任意凸锥的一般凸优化问题的原始-对偶内点算法，拓展对称锥规划的成果。
• 提出一种基于对数同质自共轭障碍（LHSCB）Hessian 的线积分的新型原始-对偶尺度映射，实现变度量框架。
• 证明所提算法实现了最佳已知的最坏情况迭代复杂度 $ O(\theta^{1/2} \tan^{-1}(1/\theta)) $，与对称锥规划的最先进水平一致。
• 建立内点法、黎曼几何、算子积分与高斯求积规则之间的新数学联系。
• 设计高效的近似方案，利用高斯求积法近似新尺度映射，尤其适用于双曲障碍，且误差有界。

提出的方法

• 该算法采用基于原始-对偶变度量的牛顿方向的预测-校正方案，该变度量由对数同质自共轭障碍（LHSCB）的 Hessian 定义。
• 原始-对偶尺度映射被定义为从当前迭代点到中心路径的路径上 Hessian 的线积分，形成一种随局部曲率自适应的黎曼度量。
• 该方法采用低秩更新来近似积分尺度映射，误差界基于自共轭性与算子范数控制推导得出。
• 对于双曲障碍，论文采用高斯求积规则（如高斯-勒让德）来近似积分尺度映射，误差界取决于求积阶数与搜索方向的范数。
• 算法在假设存在自共轭障碍的前提下进行分析，利用诸如 Dikin 椭球包含性与 Hessian 的利普希茨连续性等性质。
• 分析揭示了新度量与拟牛顿更新及一阶方法之间的联系，强化了内点法与拟牛顿框架之间的关联。

实验结果

研究问题

• RQ1 对于一般凸锥的原始-对偶内点方法，是否可以仅利用自共轭障碍实现与对称锥规划相同的迭代复杂度？
• RQ2 如何构建并高效近似基于障碍函数 Hessian 的变度量，以用于内点算法？
• RQ3 使用高斯求积法计算基于积分的原始-对偶尺度映射时，其近似误差是多少，它如何影响收敛性？
• RQ4 新尺度映射与度量在凸优化背景下如何与黎曼几何及算子理论相联系？
• RQ5 当初始近似足够接近中心路径时，对积分尺度映射进行低秩更新是否能保持收敛性与迭代复杂度？

主要发现

• 所提的预测-校正算法实现了 $ O(\theta^{1/2} \tan^{-1}(1/\theta)) $ 的迭代复杂度，与对称锥规划的最佳已知界一致，其中 $ \theta $ 为障碍参数。
• 作为 Hessian 线积分定义的新原始-对偶尺度映射，提供了一种变度量，推广了 Dikin 椭球，并深化了与黎曼几何的联系。
• 对于双曲障碍，积分尺度映射可利用高斯-勒让德求积法近似，误差界形式为 $ \frac{1}{(1 - \norm{\nabla_P}_{x})^2} \norm{\nabla_P}_{x}^{2k} $，其中 $ k $ 为求积阶数。
• 当靠近中心路径时，对积分尺度映射的低秩更新可保持其范数较小，前提是初始近似足够精确。
• 本文证明，共轭障碍可通过原始障碍的预言机计算，且在不可行启动或自对偶嵌入方法中不会降低最坏情况迭代复杂度。
• 分析揭示了新度量与拟牛顿更新之间存在深刻联系，表明内点法可被解释为基于曲率的自适应拟牛顿方法。