[论文解读] Communication Efficient Distributed Optimization using an Approximate Newton-type Method

Ohad Shamir, Nathan Srebro+1 more|arXiv (Cornell University)|Dec 30, 2013

Stochastic Gradient Optimization Techniques参考文献 18被引用 83

一句话总结

该论文提出DANE，一种基于近似牛顿型算法的通信高效分布式优化方法，利用机器间的统计相似性。其在合成与真实世界学习任务中均实现线性收敛，且收敛速率随数据规模增大而提升，显著优于单次平均、梯度下降和ADMM，且通信轮次更少。

ABSTRACT

We present a novel Newton-type method for distributed optimization, which is particularly well suited for stochastic optimization and learning problems. For quadratic objectives, the method enjoys a linear rate of convergence which provably \emph{improves} with the data size, requiring an essentially constant number of iterations under reasonable assumptions. We provide theoretical and empirical evidence of the advantages of our method compared to other approaches, such as one-shot parameter averaging and ADMM.

研究动机与目标

• 为解决分布式机器学习中的高通信成本，设计一种最小化通信轮次同时保持快速收敛的方法。
• 克服单次参数平均方法在随机优化问题中导致次优解的局限性。
• 开发一种随数据规模增长而具有良好扩展性的分布式算法，避免梯度方法中常见的与条件数多项式相关依赖。
• 为数据规模增大时收敛速率提升提供理论保证。
• 在合成二次问题与真实世界非二次学习问题上对方法进行实证验证。

提出的方法

• 该方法采用一种分布式近似牛顿型更新，利用各机器上局部目标函数之间的统计相似性。
• 在每次迭代中，每台机器使用本地数据计算局部牛顿型更新，随后对更新方向进行全局平均。
• 算法引入正则化参数μ和步长η以平衡收敛性与稳定性，其中在有利情况下η=1, μ=0为最优。
• 每轮迭代包含两次通信：一次用于平均梯度，另一次用于平均更新方向，从而实现比标准ADMM更快的收敛速度。
• 该方法设计为线性收敛，且收敛速率随每台机器样本数增加而提升。
• 理论分析表明，对于二次目标函数，收敛速率随数据规模提升而改善，在合理假设下仅需常数轮次迭代。

实验结果

研究问题

• RQ1 能否设计一种分布式优化方法，实现线性收敛，且收敛速率随数据规模增大而提升？
• RQ2 在通信效率与解质量方面，DANE相较于单次参数平均、ADMM和梯度下降的性能如何？
• RQ3 正则化参数μ与步长η对收敛性与稳定性有何影响？
• RQ4 当数据被分割到大量机器且每台机器样本量较小时，该方法是否仍能保持快速收敛？
• RQ5 该方法能否有效应用于非二次真实世界学习问题，如正则化损失最小化？

主要发现

• DANE实现线性收敛，且收敛速率随每台机器样本数增加而提升，在合理假设下仅需常数轮次迭代。
• 在合成二次问题中，DANE收敛速度显著快于ADMM，且其收敛速率随数据规模增大而提升，而ADMM的收敛速率保持不变。
• 在真实世界数据集（COV1, ASTRO-PH, MNIST-47）上，DANE达到相同精度所需的迭代次数少于ADMM，尤其在数据分布于大量机器时优势更明显。
• 当每台机器数据量较小时，μ=0时DANE可能无法收敛，但通过将μ增加至3λ可恢复收敛性，尽管平均收敛速度略有下降。
• 单次参数平均在测试损失上得到显著次优的解，而DANE与ADMM均收敛至最优经验风险最小化解。
• 实证结果表明，DANE在多个数据集上均优于ADMM与单次平均，无论在收敛速度还是最终测试准确率方面。