[论文解读] Convergence of cyclic coordinatewise l1 minimization

Kshitij Khare, Bala Rajaratnam|arXiv (Cornell University)|Apr 21, 2014

Sparse and Compressive Sensing Techniques参考文献 23被引用 7

一句话总结

本文为ℓ₁-正则化优化问题中的循环坐标最小化（CCM）提供了严格的收敛性证明，其中目标函数由于ℓ₁-范数的存在而具有非严格凸性和非光滑性。作者证明了CCM生成的迭代序列收敛于一个驻点，从而填补了该广泛应用于高维统计与机器学习算法中长期存在的理论保障空白。

ABSTRACT

We consider the general problem of minimizing an objective function which is the sum of a convex function (not strictly convex) and absolute values of a subset of variables (or equivalently the l1-norm of the variables). This problem appears exten- sively in modern statistical applications associated with high-dimensional data or "big data", and corresponds to optimizing l1-regularized likelihoods in the context of model selection. In such applications, cyclic coordinatewise minimization (CCM), where the objective function is sequentially minimized with respect to each individual coordi- nate, is often employed as it offers a computationally cheap and effective optimization method. Consequently, it is crucial to obtain theoretical guarantees of convergence for the sequence of iterates produced by the cyclic coordinatewise minimization in this setting. Moreover, as the objective corresponds to at l1-regularized likelihoods of many variables, it is important to obtain convergence of the iterates themselves, and not just the function values. Previous results in the literature only establish either, (i) that every limit point of the sequence of iterates is a stationary point of the objective function, or (ii) establish convergence under special assumptions, or (iii) establish con- vergence for a different minimization approach (which uses quadratic approximation based gradient descent followed by an inexact line search), (iv) establish convergence of only the function values of the sequence of iterates produced by random coordinatewise minimization (a variant of CCM). In this paper, a rigorous general proof of convergence for the cyclic coordinatewise minimization algorithm is provided. We demonstrate the usefulness of our general results in contemporary applications.

研究动机与目标

• 为ℓ₁-正则化优化问题中的循环坐标最小化（CCM）建立一个通用的理论收敛保证，其中目标函数是非严格凸且非光滑的。
• 解决在高维设置下CCM缺乏收敛性证明的问题，特别是当目标函数不具备严格凸性且全局最小值不唯一时。
• 为CCM在现代统计与机器学习应用中的广泛应用（如高维回归和协方差估计）提供严格的理论基础。
• 通过证明迭代序列本身的收敛性，而非仅函数值的收敛性，将理论理解拓展至函数值收敛或在严格假设下的收敛性之外。
• 通过将其应用于两个关键场景（高维协方差估计和逻辑回归）来验证一般理论的有效性。

提出的方法

• 将一般优化问题形式化为：在非负性约束下，最小化一个二阶可微的严格凸函数g(E x)与部分变量上ℓ₁-范数惩罚项之和。
• 采用关于绝对值较大的坐标数量的递归归纳法，证明迭代序列收敛于一个驻点。
• 引入一组基于递减缩放因子σ_k的嵌套区间T_i，以划分坐标值的范围，并应用鸽巢原理。
• 利用鸽巢原理识别出不包含当前迭代向量任何分量的区间，从而构造出收敛于极限点的子序列。
• 应用一个关键引理（引理3.13）证明：若某一数量的坐标超过某个阈值，则新的迭代序列收敛于一个驻点。
• 通过证明迭代序列到驻点集合的距离在每一步均按因子σ_k < 1几何递减，从而证明整个迭代序列的收敛性。

实验结果

研究问题

• RQ1 对于具有非严格凸目标函数的ℓ₁-正则化优化问题，循环坐标最小化（CCM）是否收敛于一个驻点？
• RQ2 能否在无严格假设的高维、非光滑且非严格凸设置下，为CCM建立一个通用的收敛性证明？
• RQ3 在何种条件下，CCM生成的迭代序列收敛，而非仅函数值收敛？
• RQ4 CCM的理论收敛性能否扩展至高维协方差估计和逻辑回归等实际应用？
• RQ5 当目标函数在某些方向上因ℓ₁惩罚而平坦时，如何证明迭代序列的收敛性？

主要发现

• 本文证明了CCM生成的迭代序列的每个极限点都是目标函数的驻点。
• 作者在目标函数满足弱假设的前提下，证明了迭代序列本身收敛于一个驻点，而不仅仅是函数值的收敛。
• 收敛被证明具有几何性质，即到驻点集合的距离在每一步均按小于1的因子σ_k递减。
• 证明方法依赖于将坐标空间划分为区间，并利用鸽巢原理识别出始终与零保持有界距离的坐标。
• 将一般收敛结果应用于两个关键应用，证明了CCM在高维协方差估计和逻辑回归中的收敛性。
• 本工作通过提供首个无需严格凸性或特殊初始化的ℓ₁-正则化问题中CCM的通用、严格的收敛性证明，填补了文献中的理论空白。