[论文解读] Efficiency of Coordinate Descent Methods For Structured Nonconvex Optimization

Qi Deng, Chenghao Lan|arXiv (Cornell University)|Sep 3, 2019

Sparse and Compressive Sensing Techniques参考文献 30被引用 4

一句话总结

本论文提出了一类新颖的坐标下降（CD）方法，用于结构化的非凸优化问题，其非凸目标函数由光滑项、凸项和凹项组成。该工作引入了随机坐标次梯度、随机排列CD、基于加速CD的近端DC以及近端点方法，所有方法均具有渐近收敛至临界点及次线性收敛速率的保证，相较于梯度方法，在病态条件问题中实现了更优的复杂度。

ABSTRACT

Novel coordinate descent (CD) methods are proposed for minimizing nonconvex functions consisting of three terms: (i) a continuously differentiable term, (ii) a simple convex term, and (iii) a concave and continuous term. First, by extending randomized CD to nonsmooth nonconvex settings, we develop a coordinate subgradient method that randomly updates block-coordinate variables by using block composite subgradient mapping. This method converges asymptotically to critical points with proven sublinear convergence rate for certain optimality measures. Second, we develop a randomly permuted CD method with two alternating steps: linearizing the concave part and cycling through variables. We prove asymptotic convergence to critical points and sublinear complexity rate for objectives with both smooth and concave parts. Third, we extend accelerated coordinate descent (ACD) to nonsmooth and nonconvex optimization to develop a novel randomized proximal DC algorithm whereby we solve the subproblem inexactly by ACD. Convergence is guaranteed with at most a few number of ACD iterations for each DC subproblem, and convergence complexity is established for identification of some approximate critical points. Fourth, we further develop the third method to minimize certain ill-conditioned nonconvex functions: weakly convex functions with high Lipschitz constant to negative curvature ratios. We show that, under specific criteria, the ACD-based randomized method has superior complexity compared to conventional gradient methods. Finally, an empirical study on sparsity-inducing learning models demonstrates that CD methods are superior to gradient-based methods for certain large-scale problems.

研究动机与目标

• 为大规模结构化非凸优化问题开发高效的坐标下降方法，其非凸目标函数由光滑项、凸项和凹项组成。
• 将随机化和加速CD方法扩展至非光滑和非凸设置，并提供收敛性保证。
• 通过在近端DC框架中以不精确方式求解子问题，利用加速CD改进迭代复杂度和运行时间。
• 在Lipschitz常数与负曲率之比高的病态问题中，建立复杂度优势。
• 通过实验验证CD方法在大规模稀疏学习模型中相对于基于梯度方法的优越性。

提出的方法

• 提出一种随机坐标次梯度下降（RCSD）方法，通过复合次梯度映射更新块坐标，实现对临界点的渐近收敛及广义最优性度量的次线性收敛速率。
• 引入一种随机排列CD（RPCD）方法，通过交替线性化凹项并循环更新块坐标，确保在特定条件下渐近收敛至临界点，并实现子梯度范数的次线性收敛速率。
• 通过在差分凸（DC）框架中应用加速CD求解子问题，提出一种加速近端DC（ACPDC）算法，每个子问题仅需少数ACD迭代。
• 提出一种基于ACD的近端点方法（ACPP），适用于弱凸函数，在Lipschitz常数与负曲率之比高的情况下实现更快的收敛速率。
• 利用强凸性和基于范数的不等式推导收敛界，结合目标函数期望下降量和递归误差衰减机制。
• 采用非均匀采样的随机坐标选择策略，通过李雅普诺夫函数分析和涉及步长与曲率参数的递归不等式建立收敛性。

实验结果

研究问题

• RQ1 能否将随机坐标下降方法扩展至包含凹项的复合结构的非光滑和非凸问题？
• RQ2 能否通过线性化凹部实现随机排列CD方法，并在非凸问题中实现次线性收敛？
• RQ3 能否在DC算法框架中有效应用加速坐标下降方法，以不精确方式求解子问题？
• RQ4 对于病态条件的非凸问题，基于ACD的方法是否相比标准梯度方法具有更优的复杂度？
• RQ5 所提出的CD方法是否在大规模稀疏学习应用中优于基于梯度的方法？

主要发现

• 随机坐标次梯度方法（RCSD）在非光滑非凸设置下渐近收敛至临界点，并对广义最优性度量实现次线性收敛速率。
• 随机排列CD（RPCD）方法在凸正则化项为零时，确保渐近收敛至临界点，并实现子梯度范数的次线性收敛速率。
• ACPDC算法仅需每个子问题少数加速CD迭代即可保证收敛，显著提升了相对于精确DC和近端DC方法的效率。
• 对于Lipschitz常数与负曲率之比高的弱凸函数，ACPP方法的复杂度优于经典CD方法，其复杂度界为O(√μ₀ + ∑√Li / √μ₀) log(1/ε)。
• 实验结果表明，CD方法在大规模稀疏诱导学习模型中优于基于梯度的方法，展现出更优的可扩展性和收敛速度。
• 理论分析表明，期望目标间隙以速率(1 - √μ₀ / (√μ₀ + T₁/₂))ᵏ指数衰减，从而实现ε-精度下的O(log(1/ε))迭代复杂度。