[论文解读] Memory and Communication Efficient Distributed Stochastic Optimization with Minibatch-Prox

Jialei Wang, Weiran Wang+1 more|arXiv (Cornell University)|Feb 21, 2017

Stochastic Gradient Optimization Techniques被引用 25

一句话总结

该论文提出 Minibatch-Prox (MP-DANE)，一种内存和通信效率高的分布式随机优化方法，可在接近线性加速下实现统计最优性。通过使用被动攻击更新在小批量上求解子问题，该方法实现了通信与内存之间的可调权衡，且收敛速度不受小批量大小或平滑性的影响。

ABSTRACT

We present and analyze an approach for distributed stochastic optimization which is statistically optimal and achieves near-linear speedups (up to logarithmic factors). Our approach allows a communication-memory tradeoff, with either logarithmic communication but linear memory, or polynomial communication and a corresponding polynomial reduction in required memory. This communication-memory tradeoff is achieved through minibatch-prox iterations (minibatch passive-aggressive updates), where a subproblem on a minibatch is solved at each iteration. We provide a novel analysis for such a minibatch-prox procedure which achieves the statistical optimal rate regardless of minibatch size and smoothness, thus significantly improving on prior work.

研究动机与目标

• 为解决设计具备线性或近似线性加速、低通信、低内存和最优统计性能的分布式随机优化方法这一开放挑战。
• 在分布式学习中实现灵活的通信-内存权衡，即通过增加内存来减少通信，或反之。
• 开发一种方法，无论小批量大小或平滑性如何，均能保持统计最优性，从而克服先前方法的局限性。
• 在最小化通信轮数和每台机器内存使用量的同时，实现接近线性的运行时加速。
• 提供小批量近似过程的新型理论分析，证明在一般条件下可保证最优收敛速率。

提出的方法

• 该方法使用小批量近似迭代，每台机器通过被动攻击更新在本地小批量上求解子问题。
• 它将 DANE 框架与基于小批量的近似更新相结合，在各小批量上求解本地优化问题后进行全局平均。
• 算法在每个小批量上执行固定数量的 DANE 迭代（K），每次迭代包括本地优化和全局平均。
• 它利用 SAGA 高效求解本地子问题，每轮迭代仅对本地数据进行一次遍历。
• 通过调整 DANE 迭代次数 K 和小批量大小 b，该方法可实现通信与内存之间的权衡。
• 理论分析表明，该方法无论小批量大小或平滑性如何，均可实现最优统计速率，从而实现接近线性的加速。

实验结果

研究问题

• RQ1 是否存在一种分布式随机优化方法，可在最小化通信和内存的同时实现统计最优性并获得近线性加速？
• RQ2 小批量近似方法是否能在不牺牲统计效率的前提下实现可调的通信-内存权衡？
• RQ3 小批量近似方法的收敛速率是否可证明在无论小批量大小或平滑性下均为最优？
• RQ4 DANE 迭代次数 K 在小批量设置下如何影响收敛性和效率？
• RQ5 该方法是否能在减少通信轮数的同时保持最优样本复杂度和运行时间，相较于现有方法？

主要发现

• 所提出的 MP-DANE 方法无论小批量大小或平滑性如何，均可实现统计最优收敛速率，显著优于先前工作。
• 在固定 DANE 迭代次数（K）下，该方法保持最优样本复杂度，并实现运行时间的近线性加速。
• 该方法允许通信-内存权衡：通过增加 K（DANE 迭代次数）减少通信，或通过增加小批量大小减少内存。
• 实验结果表明，随着小批量大小增加，MP-DANE 的收敛速度变慢，而小批量 SGD 的性能则会快速下降。
• 运行更多 DANE 迭代可提升性能，但收益递减，验证了理论分析：仅需近似恒定数量的迭代即可。
• 该方法在 O(1) 内存和 O(n(ε)^{1/4}) 通信轮数下实现最优运行时间，与加速小批量 SGD 的最佳已知通信效率相当。