[论文解读] An interior proximal gradient method for nonconvex optimization

Alberto De Marchi, Andreas Themelis|arXiv (Cornell University)|Aug 1, 2022

Sparse and Compressive Sensing Techniques参考文献 43被引用 6

一句话总结

本文提出了一种新颖的非凸优化内点邻近梯度方法，结合内点法与邻近梯度算法，以同时处理非光滑目标函数和复杂不等式约束。该算法确保生成严格可行的迭代点并实现全局收敛，且在弱于以往非凸邻近方法的条件下实现收敛，无需对步长序列施加上界。

ABSTRACT

We consider structured minimization problems subject to smooth inequality constraints and present a flexible algorithm that combines interior point (IP) and proximal gradient schemes. While traditional IP methods cannot cope with nonsmooth objective functions and proximal algorithms cannot handle complicated constraints, their combined usage is shown to successfully compensate the respective shortcomings. We provide a theoretical characterization of the algorithm and its asymptotic properties, deriving convergence results for fully nonconvex problems, thus bridging the gap with previous works that successfully addressed the convex case. Our interior proximal gradient algorithm benefits from warm starting, generates strictly feasible iterates with decreasing objective value, and returns after finitely many iterations a primal-dual pair approximately satisfying suitable optimality conditions. As a byproduct of our analysis of proximal gradient iterations we demonstrate that a slight refinement of traditional backtracking techniques waives the need for upper bounding the stepsize sequence, as required in existing results for the nonconvex setting.

研究动机与目标

• 通过结合内点法与邻近梯度算法，弥合非凸优化中的研究空白，以同时处理非光滑目标函数与复杂约束。
• 克服传统内点法（对非光滑函数不适用）与邻近算法（对复杂约束处理能力差）的局限性。
• 开发一种可热启动的算法，生成严格可行的迭代点，并保持目标函数值单调递减。
• 为完全非凸问题（包括非凸的 f、g 和 c）建立全局收敛性，扩展以往仅限于凸设定的研究成果。
• 对邻近梯度迭代进行精细化分析，消除在非凸设定下对步长序列施加上界的需要。

提出的方法

• 将内点框架与邻近梯度子问题求解器相结合，利用对数障碍函数平滑处理不等式约束。
• 将障碍子问题表述为光滑可微项（障碍项）与邻近友好的可能非光滑项（g）之和，从而支持邻近梯度步骤。
• 采用一种改进的回溯线搜索策略，其步长规则无需对步长序列施加上界。
• 通过在每次外层迭代中将迭代点投影到可行集内部，确保严格可行性。
• 采用两层迭代结构：外层内点迭代更新障碍参数，并通过邻近梯度步骤求解子问题。
• 保持近似满足最优性条件（KKT）的原始-对偶对，且在有限次迭代后即达成。

实验结果

研究问题

• RQ1 内点法能否被有效扩展以处理非光滑、非凸目标函数，同时保持收敛性与可行性？
• RQ2 邻近梯度方法如何被调整以处理复杂不等式约束，而无需依赖惩罚项或增广拉格朗日松弛？
• RQ3 在非凸邻近梯度方案中，对步长序列的必要条件是什么？能否消除对上界的依赖？
• RQ4 内点法与邻近梯度方法的结合能否产生一种可热启动、对非凸问题具有全局收敛性的算法，且约束为光滑函数？
• RQ5 问题规模与精度容差对所提算法计算成本的影响如何？

主要发现

• 所提算法生成严格可行的迭代点，目标函数值单调递减，并在有限次迭代后收敛至近似KKT点。
• 该方法对完全非凸问题（包括非凸的 f、g 和 c）实现了全局收敛，扩展了以往仅限于凸设定的研究成果。
• 对回溯线搜索的改进消除了对步长序列施加上界的需要，而这是现有非凸邻近梯度收敛结果中的常见要求。
• 数值实验表明，计算成本随精度要求提高和问题规模增大而显著上升，与一阶方法典型的缓慢尾部收敛特性一致。
• 算法在问题规模从 n = 10 到 n = 1000 的范围内表现出良好的可扩展性，性能分析显示随着精度要求提高，梯度评估次数增加。
• 抖动图与累积分布函数表明，问题维度与容差水平均显著影响所需梯度评估次数。