[论文解读] Hybrid Random/Deterministic Parallel Algorithms for Nonconvex Big Data Optimization

Amir Daneshmand, Francisco Facchinei+2 more|arXiv (Cornell University)|Jul 16, 2014

Sparse and Compressive Sensing Techniques参考文献 39被引用 12

一句话总结

该论文提出了一种用于非凸大规模优化问题的混合随机/确定性并行块坐标下降算法，问题涉及光滑非凸函数与非光滑凸正则化项。通过将变量块的随机选择与基于局部进展的确定性子选择相结合，该方法在保证几乎必然收敛至驻点的同时，相比纯随机或纯确定性方案实现了更快的收敛速度。

ABSTRACT

We propose a decomposition framework for the parallel optimization of the sum of a differentiable {(possibly nonconvex)} function and a nonsmooth (possibly nonseparable), convex one. The latter term is usually employed to enforce structure in the solution, typically sparsity. The main contribution of this work is a novel \emph{parallel, hybrid random/deterministic} decomposition scheme wherein, at each iteration, a subset of (block) variables is updated at the same time by minimizing local convex approximations of the original nonconvex function. To tackle with huge-scale problems, the (block) variables to be updated are chosen according to a \emph{mixed random and deterministic} procedure, which captures the advantages of both pure deterministic and random update-based schemes. Almost sure convergence of the proposed scheme is established. Numerical results show that on huge-scale problems the proposed hybrid random/deterministic algorithm outperforms both random and deterministic schemes.

研究动机与目标

• 为解决机器学习与数据科学中常见的具有非光滑正则化的大型非凸优化问题提供方法。
• 克服纯随机或纯确定性块选择规则在并行块坐标下降方法中的局限性。
• 设计一种混合方案，结合随机选择的低计算成本与贪婪确定性更新的快速收敛优势。
• 在较弱假设下，建立所提算法几乎必然收敛至驻点的理论保证。
• 在超大规模问题上，与现有随机和确定性方法相比，展示出更优的性能表现。

提出的方法

• 该算法采用两阶段块选择策略：首先随机选取一组块，然后基于局部下降潜力，确定性地选择最具前景的块。
• 在每次迭代中，它在选定的块上最小化非凸目标函数的局部凸近似，同时保持原始问题的结构。
• 该方法采用回溯线搜索，以确保每一步都实现目标函数的充分下降。
• 收敛性分析基于迭代点与其预测更新之间距离的有界性，利用梯度的Lipschitz连续性以及对不精确解的误差界。
• 通过构造类似李雅普诺夫的函数，并基于目标序列收敛的反证法，建立理论保证。
• 该算法设计具有可扩展性，适用于分布式或多核环境，且通信开销极低。

实验结果

研究问题

• RQ1 在并行非凸优化中，混合随机/确定性块选择策略是否能优于纯随机或纯确定性方案？
• RQ2 将随机采样与确定性精炼相结合，是否能在不牺牲收敛性保证的前提下提升收敛速度？
• RQ3 能否为具有非光滑正则化的非凸问题的并行块坐标下降方法建立几乎必然收敛性？
• RQ4 与现有最先进方法相比，所提方法在大规模问题上的表现如何？
• RQ5 在所提出的混合更新规则下，何种理论条件可确保迭代序列收敛至驻点？

主要发现

• 所提混合算法在超大规模优化问题上，收敛速度优于纯随机和纯确定性方案。
• 在目标函数与步长规则的标准假设下，建立了该算法几乎必然收敛至非凸问题驻点的理论结果。
• 通过结合随机选择的鲁棒性与基于局部进展的确定性精炼效率，显著提升了收敛速率。
• 数值实验表明，该混合方案在每轮迭代的目标函数下降量和整体运行时间方面均优于基线方法。
• 即使在子问题使用不精确解且误差有界的情况下，该算法仍能保持收敛性保证。
• 理论分析表明，迭代序列收敛至满足广义梯度条件的点，表明其达到驻点状态。