[论文解读] Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss

Yuchen Zhang, Lin Xiao|arXiv (Cornell University)|Jan 1, 2015

Stochastic Gradient Optimization Techniques被引用 9

一句话总结

本文提出了一种通信高效的分布式优化算法，用于最小化机器学习中的自共轭经验损失函数。该算法结合了非精确阻尼牛顿法与分布式预处理共轭梯度（PCG）求解器，实现了与样本数量无关的迭代复杂度，并且随着机器数量的增加仅缓慢增长，因此在大规模学习问题中具有高度可扩展性。

ABSTRACT

We consider distributed convex optimization problems originated from sample average approximation of stochastic optimization, or empirical risk minimization in machine learning. We assume that each machine in the distributed computing system has access to a local empirical loss function, constructed with i.i.d. data sampled from a common distribution. We propose a communication-efficient distributed algorithm to minimize the overall empirical loss, which is the average of the local empirical losses. The algorithm is based on an inexact damped Newton method, where the inexact Newton steps are computed by a distributed preconditioned conjugate gradient method. We analyze its iteration complexity and communication efficiency for minimizing self-concordant empirical loss functions, and discuss the results for distributed ridge regression, logistic regression and binary classification with a smoothed hinge loss. In a standard setting for supervised learning, the required number of communication rounds of the algorithm does not increase with the sample size, and only grows slowly with the number of machines.

研究动机与目标

• 为解决分布式机器学习中的通信瓶颈，通过最小化求解大规模经验风险最小化问题所需的通信轮次来实现。
• 开发一种可扩展的算法，在数据规模或机器数量增加时，保持高收敛速度且不增加通信成本。
• 分析所提方法在自共轭损失函数（包括逻辑回归和岭回归）下的迭代复杂度与通信效率。
• 在标准假设（如自共轭性和强凸性）下确保收敛性保证，同时保持较低的每次迭代通信开销。

提出的方法

• 该算法使用非精确阻尼牛顿法来最小化整体经验损失，即在 m 台机器上各台机器局部经验损失的平均值。
• 每个牛顿步长通过一种分布式预处理共轭梯度（PCG）方法计算，其中预处理矩阵由本地 Hessian 近似构造而成。
• 该方法利用损失函数的自共轭性质，以确保全局收敛性并控制牛顿步长的不精确性。
• 通过每轮仅进行一次通信来最小化通信轮次：广播当前迭代点，并在各机器间聚合梯度与 Hessian 信息。
• 该算法确保通信轮次数随机器数量增长缓慢，且与每台机器的样本数量无关。
• 理论分析通过预处理系统条件数界定了每轮牛顿步长中 PCG 迭代次数，确保内层求解的快速收敛。

实验结果

研究问题

• RQ1 能否设计一种分布式优化算法，实现与每台机器样本数量无关的通信效率？
• RQ2 如何有效结合非精确牛顿法与分布式线性系统求解器，以最小化通信开销？
• RQ3 在分布式环境下，自共轭经验损失函数的阻尼牛顿法的迭代复杂度是多少？
• RQ4 通信轮次数如何随机器数量和问题条件数变化？

主要发现

• 该算法所需的通信轮次数不随每台机器的样本数量增加而增长，因此在大数据场景下具有高度可扩展性。
• 迭代复杂度随机器数量的增长非常缓慢，具体表现为条件数的对数因子与维度的多对数因子的有界性。
• 对于逻辑回归和岭回归等自共轭损失，该方法实现了线性收敛，且通信复杂度与数据规模无关。
• 每轮牛顿步长中 PCG 迭代次数被限制在 O(√κ) 内，其中 κ 为条件数，从而确保内层求解快速。
• 理论保证表明，在适当参数选择下，期望的次优间隙被限制在 O(1/√n) 内，其中 n 为每台机器的样本数。