[论文解读] Asynchronous Parallel Algorithms for Nonconvex Big-Data Optimization: Model and Convergence.

Loris Cannelli, Francisco Facchinei+2 more|arXiv (Cornell University)|Jul 17, 2016

Sparse and Compressive Sensing Techniques参考文献 38被引用 24

一句话总结

该论文提出了一种新颖的异步并行算法，用于非凸大规模数据优化，结合了连续凸逼近与一种改进的异步概率模型。该算法可确保几乎必然收敛至驻点，并在凸与非凸问题上均优于现有方法。

ABSTRACT

We propose a novel asynchronous parallel algorithmic framework for the minimization of the sum of a smooth nonconvex function and a convex nonsmooth regularizer, subject to both convex and nonconvex constraints. The proposed framework hinges on successive convex approximation techniques and a novel probabilistic model that captures key elements of modern computational architectures and asynchronous implementations in a more faithful way than current state of the art models. Key features of the proposed framework are: i) it accommodates inconsistent read, meaning that components of the vector variables may be written by some cores while being simultaneously read by others; ii) it covers in a unified way several different specific solution methods, and iii) it accommodates a variety of possible parallel computing architectures. Almost sure convergence to stationary solutions is proved. Numerical results, reported in the companion paper, on both convex and nonconvex problems show our method can consistently outperform existing parallel asynchronous algorithms.

研究动机与目标

• 解决在凸与非凸约束下，具有非光滑正则化项的大规模非凸优化问题的挑战。
• 开发一种统一的算法框架，支持多种并行计算架构与异步模式。
• 通过引入更精确的异步概率表示（包括不一致读取），克服现有模型的局限性。
• 在现实的异步执行条件下，确保理论上的驻点收敛。
• 在保持收敛保证的同时，实现在现代计算系统中的实际部署。

提出的方法

• 采用连续凸逼近方法，通过迭代求解凸子问题来处理目标函数中的非凸部分。
• 提出一种新颖的概率模型，以捕捉异步计算的动力学特性，包括不同处理核心之间的不一致读取。
• 设计算法以兼容多种并行架构，如多核CPU与分布式系统。
• 允许多个核心同时读写向量分量，比以往模型更真实地建模现实世界中的异步行为。
• 统一框架，使多种具体求解方法能在同一理论基础下集成。
• 在所提出的异步概率模型下，证明算法几乎必然收敛至驻点解。

实验结果

研究问题

• RQ1 能否开发一种统一的异步并行框架，支持非凸大规模数据优化中同时存在的凸与非凸约束？
• RQ2 如何将更真实的异步概率模型（包括不一致读取）整合进优化算法中，以提升实用性？
• RQ3 在现实的异步执行模式下，所提出的框架在多大程度上仍能保持收敛性保证？
• RQ4 该框架能否在不牺牲理论或实际性能的前提下，应用于多种并行计算架构？
• RQ5 所提出的方法在凸与非凸问题上，是否在收敛速度与解质量方面均优于现有异步算法？

主要发现

• 所提出的算法在新的异步概率模型下，可确保几乎必然收敛至驻点解。
• 该框架支持不一致读取，即变量向量的分量可能在其他核心正在写入时被读取。
• 该方法将多种现有求解技术统一于单一算法与理论框架之下。
• 该算法兼容广泛的并行计算架构，显著增强了其实际适用性。
• 附属论文的数值结果表明，该算法在凸与非凸问题上均持续优于现有并行异步算法。
• 尽管对异步行为（包括不一致读取）进行了真实建模，理论收敛保证依然成立。