[论文解读] Improved analysis of algorithms based on supporting halfspaces and quadratic programming for the convex intersection and feasibility problems

C. H. Jeffrey Pang|arXiv (Cornell University)|Jun 16, 2014

Optimization and Variational Analysis参考文献 27被引用 3

一句话总结

本论文通过整合支撑半空间与二次规划（QP），改进了凸可行性与交集问题的算法，在新的正则性条件下实现了多步超线性或二次收敛——具体而言，即二阶支撑超平面性质（SOSH）。该方法可实现有限步内不可行性的检测，并利用Goldfarb与Idnani的对偶活动集QP算法，通过部分QP求解获得有用的迭代点，避免了对大规模QP的完整求解。

ABSTRACT

This paper improves the algorithms based on supporting halfspaces and quadratic programming for convex set intersection problems in our earlier paper in several directions. First, we give conditions so that much smaller quadratic programs (QPs) and approximate projections arising from partially solving the QPs are sufficient for multiple-term superlinear convergence for nonsmooth problems. Second, we identify additional regularity, which we call the second order supporting hyperplane property (SOSH), that gives multiple-term quadratic convergence. Third, we show that these fast convergence results carry over for the convex inequality problem. Fourth, we show that infeasibility can be detected in finitely many operations. Lastly, we explain how we can use the dual active set QP algorithm of Goldfarb and Idnani to get useful iterates by solving the QPs partially, overcoming the problem of solving large QPs in our algorithms.

研究动机与目标

• 通过加速投影方法解决凸可行性与交集问题（SIP）以及凸不等式问题（CIP）中的收敛缓慢问题。
• 克服现有算法中求解大规模二次规划（QP）至最优解的计算负担。
• 建立在较小QP和近似投影下仍能实现快速收敛的条件，即使在非光滑问题中亦成立。
• 为SIP与CIP的不可行实例提供有限步收敛检测能力。
• 通过Goldfarb与Idnani的对偶活动集QP算法结合热启动与部分求解，实现实际可行的实现。

提出的方法

• 通过从投影到各个凸集所生成的支撑半空间，构建交集集K的外逼近。
• 通过二次规划（QP）将迭代点投影到这些半空间的交集中，使用单位矩阵作为QP的Hessian矩阵以保证问题的良好性质。
• 引入二阶支撑超平面性质（SOSH）作为正则性条件，以实现多步二次收敛。
• 应用Goldfarb与Idnani（GI算法）的对偶活动集QP算法部分求解QP，保持可行性并逐步改进迭代点。
• 将内部GI步骤作为子程序，用于在不求解完整QP的情况下为SIP与CIP生成更优的迭代点，利用到解集距离的单调递减性。
• 利用GI算法中的热启动机制，在外迭代之间加速QP求解，提升在序列应用中的效率。

实验结果

研究问题

• RQ1 在何种条件下，较小的二次规划与近似投影仍能在非光滑凸可行性问题中实现多步超线性收敛？
• RQ2 除标准约束资格条件外，哪些正则性条件可确保SIP与CIP中多步二次收敛？
• RQ3 SIP与CIP中的不可行性是否可在有限步内被检测到？在何种假设下？
• RQ4 当完整QP求解计算成本过高时，如何有效利用对偶活动集QP算法生成有用的中间迭代点？
• RQ5 通过将支撑半空间与基于QP的投影相结合，可将交替投影类方法的收敛速度提升到何种程度？

主要发现

• 论文证明，在二阶支撑超平面性质（SOSH）条件下，SIP与CIP即使在非光滑情形下仍可实现多步二次收敛。
• 在合理的正则性条件下，可保证对不可行性的有限步收敛，从而在有限步内生成不可行性证明。
• 通过Goldfarb–Idnani对偶活动集算法对QP进行部分求解，所获得的迭代点即使在未达到最优前，也严格优于当前迭代点。
• GI算法生成的迭代点序列单调改善其与解集的距离，且每步内迭代中误差至少减少所取步长的范数。
• 利用内部GI步骤可实现外迭代间QP求解的热启动，显著降低实际计算成本。
• 通过利用多面体外逼近与基于QP的投影，所提方法在SIP与CIP中实现了超线性或二次收敛速率，优于标准交替投影方法。