[论文解读] Comunication-Efficient Algorithms for Statistical Optimization

Yuchen Zhang, John C. Duchi+1 more|arXiv (Cornell University)|Sep 19, 2012

Stochastic Gradient Optimization Techniques被引用 27

一句话总结

本文提出了用于分布式统计优化的通信高效算法，引入了一种平均混合方法和一种新颖的基于自展法的子采样技术。研究证明，这两种方法均实现了更快的均方误差（MSE）衰减速率——分别为 $\mathcal{O}(N^{-1} + (N/m)^{-2})$ 和 $\mathcal{O}(N^{-1} + (N/m)^{-3})$，当 $m \leq \sqrt{N}$ 时优于集中式基线方法，并在大规模逻辑回归问题上进行了经验验证。

ABSTRACT

We analyze two communication-efficient algorithms for distributed statistical optimization on large-scale data sets. The first algorithm is a standard averaging method that distributes the $N$ data samples evenly to $ ummac$ machines, performs separate minimization on each subset, and then averages the estimates. We provide a sharp analysis of this average mixture algorithm, showing that under a reasonable set of conditions, the combined parameter achieves mean-squared error that decays as $\order(N^{-1}+(N/m)^{-2})$. Whenever $m \le \sqrt{N}$, this guarantee matches the best possible rate achievable by a centralized algorithm having access to all $ otalnumobs$ samples. The second algorithm is a novel method, based on an appropriate form of bootstrap subsampling. Requiring only a single round of communication, it has mean-squared error that decays as $\order(N^{-1} + (N/m)^{-3})$, and so is more robust to the amount of parallelization. In addition, we show that a stochastic gradient-based method attains mean-squared error decaying as $O(N^{-1} + (N/ m)^{-3/2})$, easing computation at the expense of penalties in the rate of convergence. We also provide experimental evaluation of our methods, investigating their performance both on simulated data and on a large-scale regression problem from the internet search domain. In particular, we show that our methods can be used to efficiently solve an advertisement prediction problem from the Chinese SoSo Search Engine, which involves logistic regression with $N \approx 2.4 imes 10^8$ samples and $d \approx 740,000$ covariates.

研究动机与目标

• 分析大规模数据环境下分布式优化的统计效率与计算效率。
• 评估平均混合（Avgm）算法在分布式数据划分下的均方误差（MSE）性能。
• 开发并分析一种新型基于自展法的子采样方法，以减少通信开销并提升MSE收敛速度。
• 比较分布式学习中计算、通信与统计精度之间的权衡。
• 在合成数据和一个包含 $2.4 \times 10^8$ 个样本与 740,000 个协变量的真实广告预测问题上验证所提方法。

提出的方法

• 平均混合（Avgm）算法将 $N$ 个数据样本均匀分配至 $m$ 台机器，在每台机器上计算局部经验风险最小化器，并对结果进行平均。
• 提出一种基于自展法的子采样方法，仅需一轮通信，通过利用高阶矩信息提升MSE收敛速度。
• 理论分析采用二阶泰勒展开和浓度不等式来界定估计误差，结合了关于费舍尔信息矩阵和三阶导数的假设。
• 该方法应用赫尔德不等式与柯西-施瓦茨不等式控制误差分解中的余项，尤其适用于高维和非独立同分布设置。
• 同时分析了随机梯度下降作为基线方法，其MSE速率为 $\mathcal{O}(N^{-1} + (N/m)^{-3/2})$，慢于所提方法。
• 在损失函数的正则性条件下推导理论界，包括有界三阶导数和得分函数的矩条件。

实验结果

研究问题

• RQ1 平均混合算法在分布式数据划分下能否实现与集中式估计相当的统计效率？
• RQ2 所提出的基于自展法的子采样方法是否能在仅一轮通信下，使MSE收敛速度超越平均混合方法？
• RQ3 分布式优化中通信成本、计算工作量与统计精度之间的根本权衡是什么？
• RQ4 所提方法的MSE速率如何随机器数量 $m$ 和总样本数 $N$ 变化？
• RQ5 这些方法能否实际应用于大规模真实问题，如包含数十亿样本的逻辑回归？

主要发现

• 平均混合算法实现了均方误差（MSE）速率 $\mathcal{O}(N^{-1} + (N/m)^{-2})$，当 $m \leq \sqrt{N}$ 时与最优集中式速率一致。
• 基于自展法的子采样方法实现了更快的MSE速率 $\mathcal{O}(N^{-1} + (N/m)^{-3})$，对并行机器数量更具鲁棒性。
• 基于随机梯度下降的方法达到MSE速率 $\mathcal{O}(N^{-1} + (N/m)^{-3/2})$，计算成本更低，但收敛速度更慢。
• 理论界是紧致的，且在对数似然函数优化情况下依赖于费舍尔信息矩阵的迹。
• 实证结果证实了方法在包含 $N \approx 2.4 \times 10^8$ 个样本与 $d \approx 740,000$ 个特征的大规模广告预测任务中的有效性。
• 分析表明，误差分解中的余项为 $\mathcal{R}_3$，在正则性假设下通过矩界和浓度不等式加以控制。