[论文解读] Generalized Self-concordant Hessian-barrier algorithms

Pavel Dvurechensky, Mathias Staudigl+1 more|arXiv (Cornell University)|Nov 4, 2019

Sparse and Compressive Sensing Techniques参考文献 48被引用 2

一句话总结

本文提出了一种广义自协调Hessian障碍算法，用于处理可行集边界存在奇点的非凸优化问题。通过利用由广义自协调障碍函数诱导的黎曼度量，该方法确保了全局收敛至近似驻点，并在存在自协调障碍函数时实现了最优迭代复杂度，展示了在非凸统计估计和Lp-范数最小化问题中的高效性。

ABSTRACT

Many problems in statistical learning, imaging, and computer vision involve the optimization of a non-convex objective function with singularities at the boundary of the feasible set. For such challenging instances, we develop a new interior-point technique building on the Hessian-barrier algorithm recently introduced in Bomze, Mertikopoulos, Schachinger and Staudigl, [SIAM J. Opt. 2019 29(3), pp. 2100-2127], where the Riemannian metric is induced by a generalized self-concordant function. This class of functions is sufficiently general to include most of the commonly used barrier functions in the literature of interior point methods. We prove global convergence to an approximate stationary point of the method, and in cases where the feasible set admits an easily computable self-concordant barrier, we verify worst-case optimal iteration complexity of the method. Applications in non-convex statistical estimation and $L^{p}$-minimization are discussed to given the efficiency of the method.

研究动机与目标

• 解决统计学习、成像和计算机视觉中常见的具有边界奇点的非凸、非光滑优化问题的挑战。
• 克服经典一阶方法对全局Lipschitz梯度假设的依赖，这些方法在Lp正则化问题等非光滑或非凸目标函数上失效。
• 基于广义自协调障碍函数开发一种新型内点法，以处理非凸性和缺乏光滑性，同时保持可行性和收敛性。
• 在较弱假设下（特别是当可行集存在自协调障碍函数时）建立全局收敛性和最坏情况下的最优迭代复杂度。
• 在非凸统计估计和Lp-范数最小化问题中展示该方法的实际效率，其中标准方法因不可微性和非凸性而失效。

提出的方法

• 利用广义自协调障碍函数h的Hessian构造可行集上的黎曼流形结构，从而诱导出用于优化的度量。
• 设计一种步长策略，确保可行性和目标函数的充分下降，避免依赖全局Lipschitz常数。
• 采用势能减少框架，其中障碍-复合目标函数的下降量被Hessian障碍参数ν ∈ (2, 4]的函数从下方有界。
• 引入基于函数γ(t)的参数化下降条件，确保每次迭代中目标函数的充分下降，其界通过微积分和泰勒展开推导得出。
• 应用改进的Armijo线搜索，基于障碍参数和曲率自适应调整步长，确保收敛性，而无需梯度Lipschitz连续性假设。
• 通过分析梯度范数‖∇Fμ(xk) − A⊤yk‖² → 0的极限行为，建立收敛性，证明所有极限点均为障碍正则化问题的驻点。

实验结果

研究问题

• RQ1 能否将Hessian障碍方法从经典自协调障碍函数推广到更广泛的函数类，同时保持收敛性和复杂度保证？
• RQ2 所提出的算法是否能对具有边界奇点的非凸、非光滑问题实现全局收敛至近似驻点？
• RQ3 当可行集允许自协调障碍函数时，该方法的最坏情况迭代复杂度是多少？
• RQ4 在标准一阶方法因不可微性和非凸性而失效的非凸统计估计和Lp-范数最小化问题中，该方法的实际表现如何？
• RQ5 该收敛性分析能否扩展至非凸复合模型，且无需假设梯度具有全局Lipschitz连续性？

主要发现

• 该算法全局收敛至非凸优化问题的近似驻点，且当k → ∞时，有‖∇Fμ(xk) − A⊤yk‖² → 0。
• 对于可允许自协调障碍函数的可行集，该方法实现了最坏情况下的最优迭代复杂度，与已知此类问题的下界相匹配。
• 势能减少量∆k被下界控制为min{λk²/δk, λk²/(L + µ)}的正倍数，其中常数˜γν ∈ (1 − ln 2, 1)（当ν ∈ (3, 4)时），ν = 4时为exp(−1)。
• 沿迭代序列，步长参数λk → 0且βk → 0，确保障碍正则化目标函数的梯度范数在极限下趋于零。
• 该方法对非光滑性和非凸性具有鲁棒性，如在p ∈ (0, 1)的Lp正则化问题中成功应用所示，此时目标函数在零点处不具有方向可微性。
• 该收敛结果在最小假设下成立：f可能非凸且非光滑，障碍函数为广义自协调，允许使用包括经典内点法中使用的障碍函数在内的广泛障碍函数类。