[论文解读] An Inexact Successive Quadratic Approximation Method for Convex L-1 Regularized Optimization

Richard H. Byrd, Jorge Nocedal+1 more|arXiv (Cornell University)|Sep 13, 2013

Sparse and Compressive Sensing Techniques参考文献 17被引用 18

一句话总结

本文提出了一种用于凸L1-正则化优化的不精确连续二次逼近方法，利用基于软阈值的半光滑最优性度量来控制子问题求解中的不精确性。该方法保证了全局收敛性和局部超线性收敛，数值结果表明，使用FISTA或基于象限的求解器进行内部最小化时具有有效性。

ABSTRACT

We study a Newton-like method for the minimization of an objective function that is the sum of a smooth convex function and an l-1 regularization term. This method, which is sometimes referred to in the literature as a proximal Newton method, computes a step by minimizing a piecewise quadratic model of the objective function. In order to make this approach efficient in practice, it is imperative to perform this inner minimization inexactly. In this paper, we give inexactness conditions that guarantee global convergence and that can be used to control the local rate of convergence of the iteration. Our inexactness conditions are based on a semi-smooth function that represents a (continuous) measure of the optimality conditions of the problem, and that embodies the soft-thresholding iteration. We give careful consideration to the algorithm employed for the inner minimization, and report numerical results on two test sets originating in machine learning.

研究动机与目标

• 开发一种用于最小化具有ℓ₁正则化的光滑凸函数的全局收敛不精确牛顿类方法。
• 设计一种不精确性准则，以控制子问题解的质量，而无需要求精确最小化。
• 通过将不精确性容差与子问题的最优性度量关联，确保局部超线性收敛。
• 通过允许使用FISTA或基于象限的方法等高效内部求解器，实现实际可实施性。
• 证明所提出的不精确性条件在收敛行为和实际性能方面优于现有准则，包括Lee等人（2014年）提出的准则。

提出的方法

• 在每次迭代点xₖ处构造一个分段二次模型qₖ(x) = f(xₖ) + g(xₖ)ᵀ(x−xₖ) + ½(x−xₖ)ᵀHₖ(x−xₖ) + μ‖x‖₁。
• 基于表示最优性残差的半光滑函数定义不精确性准则，该函数源自软阈值算子。
• 使用FISTA（一阶）或基于象限的方法（二阶）不精确地最小化子问题qₖ(x)，并结合投影回溯线搜索。
• 基于象限的方法通过符号和次梯度条件识别活动集，然后在活动子空间上使用拟牛顿或牛顿-CG步长求解光滑子问题。
• 不精确性条件确保子问题解足够接近最优性，其度量基于最小范数次梯度的范数。
• 沿搜索方向dₖ = x̂ − xₖ应用投影回溯线搜索，以确保原始目标函数φ(x)的充分下降。

实验结果

研究问题

• RQ1 对于ℓ₁-正则化的凸优化问题，不精确连续二次逼近方法是否能在子问题求解不精确的情况下实现全局收敛？
• RQ2 如何定量控制子问题求解中的不精确性，以保持收敛性和局部收敛速率？
• RQ3 所提出的不精确性准则是否在收敛行为和实际性能方面优于现有准则，如Lee等人（2014年）提出的准则？
• RQ4 对于此类问题，二阶方法（如基于象限的方法）是否在求解子问题方面优于一阶方法（如FISTA）？
• RQ5 该方法是否在解附近自然接受单位步长，表明具有快速的局部收敛行为？

主要发现

• 所提出的不精确性准则保证了迭代序列全局收敛至ℓ₁-正则化问题的解。
• 该方法表现出局部超线性收敛，且收敛速率可通过不精确性容差参数进行控制。
• 在解的邻域内，算法自然接受单位步长，表明具有快速的局部收敛行为。
• 在机器学习测试集上的数值结果表明，基于象限的方法在收敛速度和鲁棒性方面优于FISTA。
• 所提出的不精确性条件被证明比Lee等人（2014年）提出的条件更有效，因为它避免了子问题残差定义和收敛鲁棒性方面的问题。
• 该方法适用于精确Hessian矩阵和拟牛顿Hₖ近似，当Hessian-向量乘积计算代价较高时，后者更具效率。