[论文解读] On "A Homogeneous Interior-Point Algorithm for Non-Symmetric Convex Conic Optimization"

Dávid Papp, Sercan Yıldız|arXiv (Cornell University)|Dec 1, 2017

Advanced Optimization Algorithms Research参考文献 4被引用 8

一句话总结

本文修正了斯卡亚和叶原始论文中关于非对称凸锥优化同质内点算法收敛性分析中的缺陷。该文为两个关键引理提供了修订证明，恢复了原始的迭代复杂度界 $ O(\tilde{u}^{1/2} \log \varepsilon^{-1}) $，并确认尽管原始证明结构存在错误，该算法在迭代复杂度上仍具有最优性。

ABSTRACT

In a recent paper, Skajaa and Ye proposed a homogeneous primal-dual interior-point method for non-symmetric conic optimization. The authors showed that their algorithm converges to $\varepsilon$-accuracy in $O(\sqrtν\log \varepsilon^{-1})$ iterations, where $ν$ is the complexity parameter associated with a barrier function for the primal cone, and thus achieves the best-known iteration complexity for this class of problems. However, an earlier result from the literature was used incorrectly in the proofs of two intermediate lemmas in that paper. In this note, we propose new proofs of these results, allowing the same complexity bound to be established.

研究动机与目标

• 识别并纠正斯卡亚和叶原始论文中在非对称锥优化同质内点法收敛性分析中对先前结果的错误使用。
• 为斯卡亚和叶原始论文中的两个关键引理（引理5和引理6）提供新的、有效的证明，这些证明原本基于对文献结果的错误应用。
• 通过修正关键引理的证明，重新确立实现 $ \varepsilon $-精度所需的原始复杂度界 $ O(\sqrt{\nu}\log\varepsilon^{-1}) $ 次迭代，确保算法理论最优性得以保持。
• 通过引入更精细的界并修正收敛证明中的技术依赖关系，改进分析框架。

提出的方法

• 重新推导并修正斯卡亚和叶论文中引理5和引理6的证明，这些证明原本基于对自共轭函数理论中先前结果的错误应用。
• 利用基于局部Hessian的范数 $ \|\cdot\|_x $ 及其对偶范数 $ \|\cdot\|_x^* $，引入对牛顿步长范数和搜索方向大小的修正界。
• 在Hessian度量下应用涉及柯西-施瓦茨不等式和算子范数的精细不等式，以控制步长并确保收敛性。
• 采用预测-校正框架，其中预测步长 $ \alpha_p = \Omega(1/\sqrt{\nu}) $，确保每轮迭代中互补性间隙和可行性间隙均几何递减。
• 通过证明互补性间隙 $ \mu(z) $ 和可行性间隙每轮迭代均减少为 $ O(1 - 1/\sqrt{\nu}) $ 的因子，建立复杂度界。
• 在附录B中提供反例，以证明原始证明无效，从而说明修正分析的必要性。

实验结果

研究问题

• RQ1 斯卡亚和叶原始工作中，非对称锥优化同质内点算法的收敛性证明是否因对先前结果的错误使用而根本性地存在缺陷？
• RQ2 在关键引理的证明得到修正后，能否恢复原始的复杂度界 $ O(\sqrt{\nu}\log\varepsilon^{-1}) $ ？
• RQ3 预测步和校正步在何种精确条件下能保持可行性并确保全局收敛？
• RQ4 如何在Hessian度量下利用有效的不等式重新推导牛顿步长范数和搜索方向大小的界？
• RQ5 原始证明中的错误对算法整体复杂度和正确性有何影响？

主要发现

• 斯卡亚和叶原始论文中引理5的证明错误地应用了文献中的一条结果，导致收敛性论证失效。
• 引理6的原始证明同样依赖于对先前结果的错误应用，从而破坏了复杂度分析的可靠性。
• 为这两个引理提供了修正后的证明，恢复了收敛性分析的有效性。
• 该算法仍能以 $ O(\sqrt{\nu}\log\varepsilon^{-1}) $ 次迭代实现 $ \varepsilon $-精度，确认其最优性。
• 可行性间隙和互补性间隙每轮迭代均以 $ O(1 - 1/\sqrt{\nu}) $ 的速率几何递减，确保了所声明的复杂度。
• 附录B中的反例表明，原始证明在某些参数范围内不成立，从而证明其无效性。