[论文解读] ASAGA: Asynchronous Parallel SAGA

Rémi Leblond, Fabián Pedregosa+1 more|arXiv (Cornell University)|Jun 15, 2016

Stochastic Gradient Optimization Techniques参考文献 3被引用 12

一句话总结

本文提出 Asaga，一种用于有限和优化的 Saga 算法异步并行变体，无需稀疏性假设即可实现线性收敛。通过简化扰动迭代框架并解决收敛证明中的关键技术不一致问题，Asaga 在多核系统上实现了理论上的线性加速，并在 40 核架构上实现了实际性能提升，且仅当使用比较并交换操作时才能保证收敛。

ABSTRACT

We describe ASAGA, an asynchronous parallel version of the incremental gradient algorithm SAGA that enjoys fast linear convergence rates. Through a novel perspective, we revisit and clarify a subtle but important technical issue present in a large fraction of the recent convergence rate proofs for asynchronous parallel optimization algorithms, and propose a simplification of the recently introduced "perturbed iterate" framework that resolves it. We thereby prove that ASAGA can obtain a theoretical linear speedup on multi-core systems even without sparsity assumptions. We present results of an implementation on a 40-core architecture illustrating the practical speedup as well as the hardware overhead.

研究动机与目标

• 开发一种高效、无锁的异步并行优化算法，用于有限和问题。
• 解决异步随机算法收敛证明中的根本性技术不一致问题，特别是无偏梯度假设与证明技术之间的不匹配。
• 证明即使在缺乏稀疏性的情况下，线性加速在良好条件设置下理论上仍可实现。
• 在 40 核系统上实现并评估 Asaga，展示其相对于异步 SGD 和 SVRG 变体的实际性能提升。

提出的方法

• 提出一种专为并行执行而设计的 Saga 算法稀疏变体。
• 引入 Asaga，一种无锁的异步并行算法，避免一致读取，使用比较并交换指令保证线程安全。
• 简化 Mania 等人（2015）提出的扰动迭代框架，消除对有界梯度的需求，并强化收敛性分析。
• 采用新颖的迭代标记方案和更紧的不等式，消除与无约束设置不一致的假设。
• 在线性模型中仅使用每个梯度一个标量进行高效存储，降低内存开销。
• 在共享内存中维护一个全局平均梯度估计，通过原子操作异步更新。

实验结果

研究问题

• RQ1 异步并行的 Saga 版本能否在无稀疏性假设下实现线性收敛？
• RQ2 现有异步算法中，无偏梯度假设与证明技术之间的不匹配对理论性能有何影响？
• RQ3 Asaga 是否能在多核系统上实现线性加速？在何种条件下实现？
• RQ4 与非原子操作相比，使用比较并交换操作在实际中如何影响收敛性？
• RQ5 所提出的收敛性分析框架能否在保持严谨性的同时被简化，并消除不一致的假设？

主要发现

• 在重叠界限 τ ≤ O(n) 和 τ ≤ O(1/√Δ × max{1, n/κ}) 条件下，Asaga 的每次更新收敛速率与原始 Saga 算法相同，保持几何收敛。
• 即使在无稀疏性的情况下，理论线性加速仍可实现，特别是在 n ≫ κ 的良好条件区域。
• Asaga 的实际 40 核实现相较于异步 SGD 和 SVRG 变体表现出显著性能提升。
• 实现中非线程安全的操作在达到某一子最优水平后无法收敛，而比较并交换操作可确保收敛至机器精度。
• Asaga 的最佳步长在不同核心数量下保持稳定，表明其对并行化规模具有鲁棒性。
• 实现中每个梯度仅使用一个标量，使线性模型中的内存使用更加高效。