[论文解读] Improved asynchronous parallel optimization analysis for stochastic incremental methods

Rémi Leblond, Fabián Pedregosa+1 more|arXiv (Cornell University)|Jan 11, 2018

Stochastic Gradient Optimization Techniques参考文献 27被引用 19

一句话总结

本文提出了一种简化的扰动迭代框架，以严格分析异步并行随机优化算法，解决了先前收敛性证明中的一个关键技术缺陷。提出 Asaga，即 Saga 的无锁异步变体，具有线性收敛性，并在多核系统上证明了理论线性加速，无需稀疏性假设，且在 40 核系统上使用大规模数据集进行了实验验证。

ABSTRACT

As datasets continue to increase in size and multi-core computer architectures are developed, asynchronous parallel optimization algorithms become more and more essential to the field of Machine Learning. Unfortunately, conducting the theoretical analysis asynchronous methods is difficult, notably due to the introduction of delay and inconsistency in inherently sequential algorithms. Handling these issues often requires resorting to simplifying but unrealistic assumptions. Through a novel perspective, we revisit and clarify a subtle but important technical issue present in a large fraction of the recent convergence rate proofs for asynchronous parallel optimization algorithms, and propose a simplification of the recently introduced "perturbed iterate" framework that resolves it. We demonstrate the usefulness of our new framework by analyzing three distinct asynchronous parallel incremental optimization algorithms: Hogwild (asynchronous SGD), KROMAGNON (asynchronous SVRG) and ASAGA, a novel asynchronous parallel version of the incremental gradient algorithm SAGA that enjoys fast linear convergence rates. We are able to both remove problematic assumptions and obtain better theoretical results. Notably, we prove that ASAGA and KROMAGNON can obtain a theoretical linear speedup on multi-core systems even without sparsity assumptions. We present results of an implementation on a 40-core architecture illustrating the practical speedups as well as the hardware overhead. Finally, we investigate the overlap constant, an ill-understood but central quantity for the theoretical analysis of asynchronous parallel algorithms. We find that it encompasses much more complexity than suggested in previous work, and often is order-of-magnitude bigger than traditionally thought.

研究动机与目标

• 解决异步随机优化算法收敛性证明中的一个关键技术缺陷，即假设梯度估计无偏，但与证明技术不一致。
• 设计一种简化且稳健的扰动迭代框架，以实现对复杂异步算法（如 Saga）的严格分析。
• 设计 Asaga，一种新型无锁异步并行 Saga 算法，适用于高性能多核架构。
• 在不依赖稀疏性假设的前提下，证明 Asaga 和 Kromagnon（异步 SVRG）的理论线性加速，优于先前的理论边界。
• 通过在 40 核系统上的实现，对框架和算法进行经验验证，展示实际加速效果，并证明比较并交换操作对收敛性的必要性。

提出的方法

• 重新审视并纠正先前异步收敛性证明中的根本性不一致：假设梯度无偏，但与分析中使用延迟或不一致更新的做法相矛盾。
• 引入一种简化的扰动迭代框架，正确处理异步更新中的延迟和不一致性，从而能够分析非基于轮次的算法（如 Saga）。
• 提出 Asaga，一种基于稀疏 Saga 的新型异步并行算法，使用原子操作（如比较并交换）确保收敛性，无需锁机制。
• 采用一种新型梯度内存存储方案，每条梯度仅存储标量值，以减少线性模型中的内存开销。
• 使用坐标级原子操作（通过 Guava 的 AtomicDoubleArray 实现），在无需完全同步的情况下保持一致性，并确保高精度收敛。
• 在真实世界数据集（Covertype、RCV1、Epsilon、RealSim）上进行经验评估，使用 40 核系统测量收敛性和加速比，比较使用 CAS 与非线程安全操作的效果。

实验结果

研究问题

• RQ1 简化的扰动迭代框架能否解决异步随机优化算法收敛性证明中的技术不一致问题？
• RQ2 Asaga 作为 Saga 的异步并行变体，是否能在不依赖稀疏性假设的前提下实现线性收敛？
• RQ3 Asaga 和 Kromagnon 是否能在多核系统上实现理论线性加速，而无需依赖稀疏性假设？
• RQ4 比较并交换操作在确保异步算法实际实现收敛性方面起到什么作用？
• RQ5 重叠常数（异步分析中的关键参数）与传统假设相比，其大小和复杂性如何？

主要发现

• 本文识别并解决了异步算法收敛性证明中广泛存在的技术缺陷：无偏梯度假设与证明技术不一致，除非强制实施强同步。
• 所提出的简化扰动迭代框架使得对复杂、非基于轮次的算法（如 Saga）的严格收敛性分析成为可能，而此前的框架未能妥善处理此类算法。
• Asaga 即使在无稀疏性假设下，也能在多核系统上实现线性收敛和理论线性加速，显著优于先前结果。
• Kromagnon（异步 SVRG）同样在无稀疏性假设下实现线性加速，表明新框架具有更广泛的应用潜力。
• 实验结果表明，比较并交换操作对实现高精度收敛至关重要；非线程安全的实现无法在某一子最优阈值以上继续收敛。
• 重叠常数（此前认为较小）被发现比传统假设大一个数量级，揭示了异步算法设计中更大的复杂性。