[论文解读] Distributed Averaging Methods for Randomized Second Order Optimization

Burak Bartan, Mert Pilancı|arXiv (Cornell University)|Feb 16, 2020

Sparse and Compressive Sensing Techniques参考文献 17被引用 4

一句话总结

该论文提出了一种无偏的分布式平均方法，用于随机化二阶优化，通过使用压缩Hessian近似来降低通信和计算成本。它提供了正则化和步长的闭式公式，消除了压缩解中的偏差，从而在不增加额外成本的情况下实现对真实最优解的收敛，尤其在异构和无服务器计算环境中表现出色。

ABSTRACT

We consider distributed optimization problems where forming the Hessian is computationally challenging and communication is a significant bottleneck. We develop unbiased parameter averaging methods for randomized second order optimization that employ sampling and sketching of the Hessian. Existing works do not take the bias of the estimators into consideration, which limits their application to massively parallel computation. We provide closed-form formulas for regularization parameters and step sizes that provably minimize the bias for sketched Newton directions. We also extend the framework of second order averaging methods to introduce an unbiased distributed optimization framework for heterogeneous computing systems with varying worker resources. Additionally, we demonstrate the implications of our theoretical findings via large scale experiments performed on a serverless computing platform.

研究动机与目标

• 解决在大规模并行系统中，随机化二阶优化的平均压缩解中的偏差问题，该问题限制了可扩展性。
• 为具有不同工作资源和压缩维度的分布式环境开发无偏参数平均框架。
• 实现在资源受限、无服务器平台（如AWS Lambda）上的高效、低开销优化。
• 为正则化和非正则化问题提供偏差校正和收敛性的理论保证。
• 通过在无服务器计算平台上进行大规模实验，展示可扩展性和性能提升。

提出的方法

• 使用压缩矩阵（如高斯分布、SJLT）来近似Hessian矩阵，降低二阶优化中的计算成本。
• 推导出消除平均压缩解中偏差的正则化参数和步长的闭式公式。
• 提出一种具有偏差校正平均的分布式迭代Hessian压缩算法，适用于异构计算节点。
• 将该框架应用于正则化最小二乘问题和一般凸优化问题，并提供理论收敛保证。
• 采用主从架构，其中工作节点计算本地压缩解并将其发送至中心主节点进行平均。
• 在AWS Lambda上验证该方法，通过在迭代间复用无服务器函数以最小化初始化开销。

实验结果

研究问题

• RQ1 在涉及正则化的情况下，如何消除二阶优化中平均压缩解的偏差？
• RQ2 哪些正则化和步长的闭式公式可确保在分布式随机Hessian近似中实现无偏收敛？
• RQ3 该方法在具有不同计算能力的工作节点的异构计算系统中如何扩展？
• RQ4 该方法能否在每节点资源有限且执行短暂的无服务器平台（如AWS Lambda）上高效部署？
• RQ5 偏差校正在大规模优化中的收敛速度和最终解精度方面有何影响？

主要发现

• 该论文推导出显式正则化参数公式，可消除平均压缩解中的偏差，确保收敛至真实最优解。
• 偏差校正要求根据压缩大小和每个工作节点的问题维度调整子问题中的正则化系数。
• 该方法在不增加额外计算成本的情况下实现无偏估计，性能优于简单平均。
• 在AWS Lambda上的实验表明，该算法扩展性良好，44 GB数据集的迭代可在短短5秒内完成。
• 高斯分布和SJLT压缩矩阵优于其他压缩方式，其中SJLT在计算成本较低的同时保持了优异性能。
• 该框架通过高效、低通信设计，避免依赖最慢工作节点，从而缓解了分布式系统中的延迟者（straggler）问题。