[论文解读] Iteration complexity analysis of random coordinate descent methods for $\ell_0$ regularized convex problems

Andrei Pătraşcu, Ion Necoara|arXiv (Cornell University)|Mar 26, 2014

Sparse and Compressive Sensing Techniques参考文献 24被引用 4

一句话总结

本文为应用于 $β_0$-正则化凸优化问题的随机块坐标下降方法提出了一套统一的收敛性分析，其中目标函数由一个光滑凸函数与一个 $β_0$ 次范数正则项组合而成。该研究建立了在基于目标函数近似版本定义的受限类中，算法几乎必然收敛至局部极小值的结果，并在强凸性假设下证明了概率线性收敛。

ABSTRACT

In this paper we analyze a family of general random block coordinate descent methods for the minimization of $\ell_0$ regularized optimization problems, i.e. the objective function is composed of a smooth convex function and the $\ell_0$ regularization. Our family of methods covers particular cases such as random block coordinate gradient descent and random proximal coordinate descent methods. We analyze necessary optimality conditions for this nonconvex $\ell_0$ regularized problem and devise a separation of the set of local minima into restricted classes based on approximation versions of the objective function. We provide a unified analysis of the almost sure convergence for this family of block coordinate descent algorithms and prove that, for each approximation version, the limit points are local minima from the corresponding restricted class of local minimizers. Under the strong convexity assumption, we prove linear convergence in probability for our family of methods.

研究动机与目标

• 为解决组合上困难且正则化形式与稀疏性约束形式之间缺乏精确等价性的非凸 $β_0$-正则化优化问题带来的挑战。
• 为针对 $β_0$-正则化问题量身定制的随机块坐标下降方法，构建统一的收敛性分析框架，涵盖梯度型与邻近型两种变体。
• 基于目标函数的近似版本，将局部极小值划分为受限类别，以实现对收敛行为的更精细刻画。
• 建立算法迭代序列在每种近似版本对应的受限类中几乎必然收敛至局部极小值的结果。
• 在强凸性假设下，证明线性收敛性（以概率形式），为所提方法提供迭代复杂度保证。

提出的方法

• 提出一族随机块坐标下降算法，通过每次更新一个变量块而固定其余块，以最小化 $β_0$-正则化目标函数的近似版本。
• 基于目标函数近似版本的选择，将局部极小值集合划分为若干受限类别。
• 采用一种通用的算法框架，涵盖诸如随机块坐标梯度下降与随机邻近坐标下降等具体方法。
• 引入一种随机索引选择规则用于块更新，确保在每次迭代中对变量块进行随机探索。
• 利用专为非凸 $β_0$-正则化问题设计的最优性条件分析收敛性，以区分不同类型的局部极小值。
• 在强凸性条件下，通过利用近似结构与块选择的随机性，证明了概率线性收敛。

实验结果

研究问题

• RQ1 什么是 $β_0$-正则化非凸优化问题的必要最优性条件？局部极小值如何分类？
• RQ2 目标函数近似版本的选择如何影响随机块坐标下降方法的收敛行为？
• RQ3 能否为应用于 $β_0$-正则化问题的随机块坐标下降方法建立统一的收敛性分析？
• RQ4 在何种条件下，所提方法可实现概率线性收敛？
• RQ5 所提算法在实际性能上与 IHTA 等现有方法相比，在收敛速度与解的稀疏性方面表现如何？

主要发现

• 所提的随机块坐标下降方法在基于目标函数近似版本定义的受限类中，几乎必然收敛至局部极小值。
• 对于强凸问题，该方法实现了概率线性收敛，表明在此条件下具有有利的迭代复杂度。
• 在达到更优目标函数值方面，算法 (RCD-IHT-$u^e$) 所需的完整迭代次数显著少于 (IHTA)，尤其在问题维度增大时更为明显。
• 在 $β_2$-正则化逻辑回归模型的实验中，(RCD-IHT-$u^e$) 以更少的完整迭代次数实现了最佳目标函数值，展现出良好的可扩展性与效率。
• 该方法在保持解的高稀疏性的同时实现了较低的目标函数值，各测试实例的稀疏度（非零分量数量）在 15 至 767 之间。
• (RCD-IHT-$u^e$) 的性能随问题规模增大而表现良好，即使在变量数达 2500 的问题中，也仅用 12 次完整迭代即实现收敛。