[论文解读] Accelerated Stochastic Greedy Coordinate Descent by Soft Thresholding Projection onto Simplex

Chaobing Song, Shaobo Cui+2 more|arXiv (Cornell University)|Feb 25, 2017

Sparse and Compressive Sensing Techniques被引用 3

一句话总结

本文提出加速随机贪婪坐标下降（ASGCD），结合Nesterov加速与随机优化，并引入基于ℓ1-范数平方逼近的新型贪婪选择规则。提出SOTOPO算法以精确求解所得凸子问题，实现O(√(1/ϵ))的最优收敛速率，同时将贪婪选择复杂度降低样本规模的倍数，在高维、稠密、稀疏解问题上显著提升性能。

ABSTRACT

In this paper we study the well-known greedy coordinate descent (GCD) algorithm to solve $\ell_1$-regularized problems and improve GCD by the two popular strategies: Nesterov's acceleration and stochastic optimization. Firstly, we propose a new rule for greedy selection based on an $\ell_1$-norm square approximation which is nontrivial to solve but convex, then an efficient algorithm called "SOft ThreshOlding PrOjection (SOTOPO)" is proposed to exactly solve the $\ell_1$-regularized $\ell_1$-norm square approximation problem, which is induced by the new rule. Based on the new rule and the SOTOPO algorithm, the Nesterov's acceleration and stochastic optimization strategies are then successfully applied to the GCD algorithm. The resulted algorithm called accelerated stochastic greedy coordinate descent (ASGCD) has the optimal convergence rate $O(\sqrt{1/ε})$, meanwhile, it reduces the iteration complexity of greedy selection up to a factor of sample size. Both theoretically and empirically, we show that ASGCD has better performance for high-dimensional and dense problems with sparse solution.

研究动机与目标

• 为解决现有Gauss-Southwell规则因非凸性导致贪婪坐标下降（GCD）无法实现最优收敛速率的局限性。
• 通过ℓ1-范数平方逼近对GCD子问题进行凸重构，以支持Nesterov加速。
• 通过引入随机优化降低贪婪选择的迭代复杂度，避免完整梯度计算。
• 设计一种高效算法，结合加速、随机性与新子问题的精确解法，用于ℓ1-正则化问题。

提出的方法

• 提出一种基于光滑函数f(x)的ℓ1-范数平方逼近的新贪婪选择规则，替代传统二次逼近。
• 引入SOft ThreshOlding PrOjection（SOTOPO）算法，以O(d + |Q| log |Q|)时间精确求解所得ℓ1-正则化ℓ1-范数平方问题，其中|Q| ≪ d。
• 通过精心设计的镜面下降步骤应用Nesterov加速，实现最优O(√(1/ϵ))收敛速率。
• 通过每轮迭代采样一个训练样本而非计算完整梯度，实现随机优化，将贪婪选择成本降低样本规模n倍。
• 将新选择规则、SOTOPO与随机加速整合为统一算法：加速随机贪婪坐标下降（ASGCD）。
• 通过Bregman散度与叠缩不等式结合的耦合论证证明收敛性，参数调优确保达到最优速率。

实验结果

研究问题

• RQ1 当子问题因基数约束导致非凸性时，Nesterov加速能否成功应用于贪婪坐标下降？
• RQ2 通过ℓ1-范数平方逼近对GCD子问题进行凸重构，能否在保持稀疏性与效率的同时实现加速？
• RQ3 能否在不进行完整梯度计算的前提下，将随机优化集成到贪婪选择中，同时保持收敛保证？
• RQ4 所提出的ASGCD算法能否为ℓ1-正则化问题实现最优O(√(1/ϵ))收敛速率？
• RQ5 在高维、稠密、稀疏解问题上，ASGCD与最先进方法相比，在迭代复杂度与收敛速度方面表现如何？

主要发现

• ASGCD为ℓ1-正则化问题实现了最优收敛速率O(√(1/ϵ))，与一阶方法的最佳已知速率一致。
• 通过随机采样，贪婪选择的迭代复杂度降低样本规模n倍，避免完整梯度计算。
• SOTOPO算法以O(d + |Q| log |Q|)时间求解ℓ1-正则化ℓ1-范数平方问题，优于先前的欧几里得投影方法（如SOPOPO）所需的O(d log d)时间。
• 对于具有稀疏解的高维稠密问题，ASGCD在理论与实验上均显著优于最先进方法。
• 理论分析表明，ASGCD在O(√(C L1 ||x*||1 / √ϵ))次迭代内可实现F(x) − F(x*) ≤ ϵ，其中C随维度d缓慢增长，且上界为log²(d)。
• 最终收敛界为E[F(˜xS) − F(x*)] ≤ 4/(S + 3)² × (1 + (1 + 2β(b))/(2m) × C) × L||x*||₁²，证实了最优速率及对问题参数的依赖性。