[论文解读] A Randomized Nonmonotone Block Proximal Gradient Method for a Class of Structured Nonlinear Programming

Zhaosong Lu, Lin Xiao|arXiv (Cornell University)|Jun 25, 2013

Sparse and Compressive Sensing Techniques参考文献 43被引用 12

一句话总结

该论文提出了一种随机非单调块近端梯度（RNBPG）方法，用于求解包含光滑（可能非凸）函数和块可分非光滑（可能非凸）函数的结构化非线性规划问题。该方法基于局部曲率采用可变步长，并结合非单调线搜索，几乎必然收敛至驻点，且具有次线性收敛速率；实验结果表明，其性能优于现有的随机块坐标方法。

ABSTRACT

We propose a randomized nonmonotone block proximal gradient (RNBPG) method for minimizing the sum of a smooth (possibly nonconvex) function and a block-separable (possibly nonconvex nonsmooth) function. At each iteration, this method randomly picks a block according to any prescribed probability distribution and solves typically several associated proximal subproblems that usually have a closed-form solution, until a certain progress on objective value is achieved. In contrast to the usual randomized block coordinate descent method [23,20], our method has a nonmonotone flavor and uses variable stepsizes that can partially utilize the local curvature information of the smooth component of objective function. We show that any accumulation point of the solution sequence of the method is a stationary point of the problem {\it almost surely} and the method is capable of finding an approximate stationary point with high probability. We also establish a sublinear rate of convergence for the method in terms of the minimal expected squared norm of certain proximal gradients over the iterations. When the problem under consideration is convex, we show that the expected objective values generated by RNBPG converge to the optimal value of the problem. Under some assumptions, we further establish a sublinear and linear rate of convergence on the expected objective values generated by a monotone version of RNBPG. Finally, we conduct some preliminary experiments to test the performance of RNBPG on the $\ell_1$-regularized least-squares problem and a dual SVM problem in machine learning. The computational results demonstrate that our method substantially outperforms the randomized block coordinate {\it descent} method with fixed or variable stepsizes.

研究动机与目标

• 解决单调和固定步长随机块坐标方法在非凸优化中面临的局限性。
• 通过引入利用局部曲率信息的可变步长，提升方法的实际性能。
• 设计一种非单调线搜索策略，以在非凸环境下提升解的质量。
• 在较弱假设下，为非凸问题建立收敛性保证。
• 通过实证结果表明，所提方法在迭代次数和计算时间方面均优于现有的随机块坐标方法。

提出的方法

• 在每次迭代中，根据预设的概率分布随机选择一个块。
• 该方法对所选块求解多个近端子问题，直至目标函数值取得足够进展。
• 采用非单调线搜索策略，允许目标函数值暂时上升，以逃离较差的局部极小值。
• 使用可变步长，初始值通过类似谱的方法确定，以利用光滑部分的局部曲率。
• 该方法仅更新所选块，其余块保持不变，采用包含部分梯度和块状Lipschitz常数的近端子问题公式。
• 在梯度坐标连续性及最优解集非空的假设下进行收敛性分析。

实验结果

研究问题

• RQ1 在非凸环境下，结合非单调线搜索与可变步长的随机块坐标方法，是否能比单调方法实现更优的收敛性与解质量？
• RQ2 基于局部曲率的可变步长是否能提升块坐标方法的实际性能？
• RQ3 所提出的RNBPG方法在非凸结构化问题上的理论收敛特性如何？
• RQ4 在迭代次数和计算时间方面，该方法与固定步长及单调变体相比表现如何？
• RQ5 该方法是否能在大规模机器学习问题（如L1-正则化最小二乘和对偶SVM问题）中实现更快收敛？

主要发现

• 由RNBPG生成的解序列的任意聚点，几乎必然为问题的驻点。
• 该方法在迭代过程中，最小期望近端梯度平方范数的收敛速率呈次线性。
• 对于凸问题，RNBPG生成的期望目标值收敛至最优值。
• 在额外假设下，RNBPG的单调变体在期望目标值上同时具备次线性和线性收敛速率。
• 在数值实验中，RNBPG在迭代次数和计算时间方面显著优于固定步长和可变步长的随机块坐标下降方法。
• 在RCV1和News20数据集上，RNBPG实现了更快收敛，尤其在较大块尺寸下表现更优；在12核系统上，当块尺寸适当时，其计算时间更少。