[论文解读] Avoiding Communication in Proximal Methods for Convex Optimization Problems

Saeed Soori, Aditya Devarakonda+3 more|arXiv (Cornell University)|Oct 24, 2017

Sparse and Compressive Sensing Techniques参考文献 1被引用 3

一句话总结

本论文通过展开k次迭代，提出了通信避免型随机FISTA（CA-SFISTA）和增广牛顿法（CA-SPNM）的变体，以减少分布式凸优化中的延迟和带宽成本。通过将算法重新表述为每k次迭代才通信一次，该方法在1024个节点上实现了高达10倍的加速，同时保持了收敛速率和算术成本不变，在现代分布式架构上显著提升了可扩展性。

ABSTRACT

The fast iterative soft thresholding algorithm (FISTA) is used to solve convex regularized optimization problems in machine learning. Distributed implementations of the algorithm have become popular since they enable the analysis of large datasets. However, existing formulations of FISTA communicate data at every iteration which reduces its performance on modern distributed architectures. The communication costs of FISTA, including bandwidth and latency costs, is closely tied to the mathematical formulation of the algorithm. This work reformulates FISTA to communicate data at every k iterations and reduce data communication when operating on large data sets. We formulate the algorithm for two different optimization methods on the Lasso problem and show that the latency cost is reduced by a factor of k while bandwidth and floating-point operation costs remain the same. The convergence rates and stability properties of the reformulated algorithms are similar to the standard formulations. The performance of communication-avoiding FISTA and Proximal Newton methods is evaluated on 1 to 1024 nodes for multiple benchmarks and demonstrate average speedups of 3-10x with scaling properties that outperform the classical algorithms.

研究动机与目标

• 为解决经典随机FISTA和增广牛顿法在分布式环境中因通信成本占主导而带来的可扩展性限制。
• 在不增加算术成本或带宽成本的前提下，减少通信开销，尤其是延迟。
• 使用k步展开技术重新表述FISTA和增广牛顿法，实现仅每k次迭代通信一次。
• 评估通信避免型重构是否保持与经典形式相同的收敛行为和稳定性。
• 在1至1024个处理器上，展示大规模数据集上的强可扩展性和性能提升。

提出的方法

• 提出对经典SFISTA和SPNM算法进行k步展开，以在通信前计算k次迭代的更新量，将通信频率降低k倍。
• 使用随机采样技术重叠计算与通信，以在分布式环境中实现高效的数据移动和负载均衡。
• 重新表述近端映射和更新规则，以保持与经典方法的算术等价性，确保收敛行为完全一致。
• 采用数据分区策略，在保持数值稳定性和残差误差的同时最小化通信成本。
• 采用改进的停止准则和容差参数，以在不同k值和硬件规模下公平比较性能。
• 在包含合成数据和真实数据集（abalone、covtype、susy）的分布式集群上，使用最多1024个节点评估算法性能。

实验结果

研究问题

• RQ1 在FISTA和增广牛顿法中展开k次迭代，是否能在不改变收敛速率或算术复杂度的前提下降低通信成本？
• RQ2 增加k值如何影响大规模数据集在分布式优化中的延迟、带宽和整体性能？
• RQ3 通信避免型变体在多大程度上保持了经典算法的稳定性和残差误差？
• RQ4 与经典实现相比，k步重构是否能在分布式平台上实现更好的强可扩展性？
• RQ5 在不同数据集和硬件配置下，通信避免算法的最大可实现加速比是多少？

主要发现

• CA-SFISTA和CA-SPNM在1024个处理器上相比经典SFISTA和SPNM实现了高达10倍的加速，且在各类数据集上均表现出一致的性能提升。
• 加速效果随k值和处理器数量的增加而增强，表明延迟成本成功降低了k倍。
• k步算法表现出强可扩展性，执行时间随处理器数量增加而减少，而经典方法因通信开销增加而性能下降。
• 在abalone数据集上，当k=32时，64个节点上实现了9.63倍的加速，表明在小规模数据集上也具有显著性能提升。
• 收敛速率和残差误差在k值达到128以内保持稳定，证实重构未损害算法行为。
• 当k值和处理器数量进一步增加时，性能最终受带宽限制，表明在大规模下带宽成为主要瓶颈。