[论文解读] DINGO: Distributed Newton-Type Method for Gradient-Norm Optimization

Rixon Crane, Fred Roosta|arXiv (Cornell University)|Jan 16, 2019

Sparse and Compressive Sensing Techniques参考文献 27被引用 20

一句话总结

DINGO 是一种通信高效的分布式牛顿型优化算法，通过求解简单的线性最小二乘子问题来最小化梯度的范数。无论超参数如何选择，该算法均能保证梯度范数的减少并实现全局收敛，在通信效率和多种非凸问题下的稳定性方面优于一阶方法及其他二阶方法，适用于任意数据分布。

ABSTRACT

For optimization of a sum of functions in a distributed computing environment, we present a novel communication efficient Newton-type algorithm that enjoys a variety of advantages over similar existing methods. Similar to Newton-MR, our algorithm, DINGO, is derived by optimization of the gradient's norm as a surrogate function. DINGO does not impose any specific form on the underlying functions, and its application range extends far beyond convexity. In addition, the distribution of the data across the computing environment can be arbitrary. Further, the underlying sub-problems of DINGO are simple linear least-squares, for which a plethora of efficient algorithms exist. Lastly, DINGO involves a few hyper-parameters that are easy to tune. Moreover, we theoretically show that DINGO is not sensitive to the choice of its hyper-parameters in that a strict reduction in the gradient norm is guaranteed, regardless of the selected hyper-parameters. We demonstrate empirical evidence of the effectiveness, stability and versatility of our method compared to other relevant algorithms.

研究动机与目标

• 开发一种在大规模机器学习和科学计算中减少通信开销的分布式优化算法。
• 将二阶优化方法扩展至非凸和非结构化问题，而无需特定函数形式。
• 在分布式环境中确保鲁棒收敛，且对超参数的敏感度最低。
• 通过最小化通信轮次，实现对分布式计算资源的高效利用。
• 提供一种基于简单线性最小二乘子问题的实用且可实现的方法。

提出的方法

• DINGO 将优化问题表述为最小化梯度的范数，使用一个代理目标函数来引导搜索方向。
• 它采用一种分布式不精确牛顿方法，每轮迭代通过求解一个线性最小二乘问题来计算搜索方向。
• 该算法使用回溯线搜索选择步长，确保梯度范数的充分下降。
• 通过仅在工作节点与中央驱动器之间交换梯度和海森矩阵相关信息，最小化通信开销。
• 该方法设计具有鲁棒性：无论超参数取值如何，均能保证梯度范数的严格减少。
• 它支持在工作节点之间任意划分数据，且不要求凸性或超出标准可微性的光滑性。

实验结果

研究问题

• RQ1 能否设计一种分布式二阶方法，既通信高效，又可应用于非凸问题？
• RQ2 在通信最少的分布式环境中，如何高效计算海森矩阵近似？
• RQ3 基于梯度范数最小化的牛顿型方法是否能确保全局收敛，且对超参数的敏感度最低？
• RQ4 与一阶方法及其他二阶方法相比，DINGO 在通信效率和收敛速度方面表现如何？
• RQ5 DINGO 是否能在具有不同网络延迟的异构和分布式计算环境中有效扩展？

主要发现

• 在 AWS 上，DINGO 每小时完成 12 次迭代，较单节点的 8 次迭代提升了 50%，展示了其在分布式环境中的有效扩展性。
• 与 Sync-SGD 相比，DINGO 在 AWS 上将通信成本降低了 80%以上，尽管迭代次数更少，但梯度范数的收敛速度更快。
• 与 GIANT、DiSCO、InexactDANE 和 AIDE 相比，DINGO 在更少的通信轮次下实现了更快的梯度范数减少。
• 实验结果表明，DINGO 在多个数据集（CIFAR10、EMNIST）和问题类型（Softmax 回归）中均保持了稳定且快速的收敛性能。
• 该算法对超参数选择具有鲁棒性：不同取值的线搜索参数 θ 导致的客观函数收敛结果相似，但 θ=10⁻⁴ 时梯度范数减少最快。
• 即使在非凸设置下，DINGO 在减少梯度范数方面也优于所有基线方法，且收敛保证不依赖于超参数调优。