[论文解读] The Sound of APALM Clapping: Faster Nonsmooth Nonconvex Optimization with Stochastic Asynchronous PALM

Damek Davis, Brent Edmunds+1 more|arXiv (Cornell University)|Jun 7, 2016

Sparse and Compressive Sensing Techniques被引用 11

一句话总结

本文提出了SAPALM，一种新颖的随机异步块坐标方法，用于非凸、非光滑优化，实现了可证明的收敛性和多工作者环境下的线性加速。其收敛速率与目前已知的最佳结果相当，并在矩阵分解任务中表现出最先进的性能。

ABSTRACT

We introduce the Stochastic Asynchronous Proximal Alternating Linearized Minimization (SAPALM) method, a block coordinate stochastic proximal-gradient method for solving nonconvex, nonsmooth optimization problems. SAPALM is the first asynchronous parallel optimization method that provably converges on a large class of nonconvex, nonsmooth problems. We prove that SAPALM matches the best known rates of convergence --- among synchronous or asynchronous methods --- on this problem class. We provide upper bounds on the number of workers for which we can expect to see a linear speedup, which match the best bounds known for less complex problems, and show that in practice SAPALM achieves this linear speedup. We demonstrate state-of-the-art performance on several matrix factorization problems.

研究动机与目标

• 开发一种可扩展的异步优化方法，用于非凸、非光滑问题，其中现有方法缺乏收敛性保证。
• 实现与该问题类别下同步和异步方法中最佳已知结果相当的收敛速率。
• 提供理论上可实现线性加速的工作者数量的边界。
• 在真实世界的矩阵分解问题上展示实际效率和可扩展性。

提出的方法

• SAPALM是一种随机、异步、块坐标的近端梯度方法，通过使用噪声梯度估计来更新变量块。
• 它采用交替线性化最小化策略，以处理目标函数中的非光滑项。
• 该方法允许多个工作进程独立且异步地更新，从而减少同步瓶颈。
• 它使用回溯线搜索或固定步长，以在较弱假设下确保收敛。
• 即使来自工作进程的更新存在延迟或乱序，该算法仍能保持收敛保证。
• 理论分析在标准假设下建立了对非凸、非光滑问题收敛至驻点的保证。

实验结果

研究问题

• RQ1 一种异步、随机、块坐标方法能否在非凸、非光滑优化问题上实现可证明的收敛？
• RQ2 理论上和实践中，线性加速可实现的最大工作者数量是多少？
• RQ3 SAPALM的收敛速率与现有同步和异步方法相比如何？
• RQ4 与先前方法相比，SAPALM能否在矩阵分解任务中实现最先进的性能？
• RQ5 在异步设置下，保持线性加速的工作者数量的理论边界是什么？

主要发现

• SAPALM是首个在广泛非凸、非光滑优化问题类别上实现可证明收敛的异步方法。
• 其收敛速率与同步和异步方法中最佳已知结果相当。
• 理论上可实现线性加速的工作者数量的上界，与更简单问题类别的最佳已知边界一致。
• 实验结果表明，SAPALM在多个工作者上实际实现了线性加速。
• SAPALM在多个矩阵分解基准测试中表现出最先进的性能。
• 该方法通过近端更新有效处理了非光滑项，同时在异步环境下保持了收敛性。