[论文解读] A Class of Parallel Doubly Stochastic Algorithms for Large-Scale Learning

Aryan Mokhtari, Alec Koppel+1 more|arXiv (Cornell University)|Jun 15, 2016

Stochastic Gradient Optimization Techniques被引用 8

一句话总结

该论文提出 RAPSA，一种用于大规模学习的新型并行双重随机算法，同时对参数块和训练样本进行随机化。在凸性假设下证明了其收敛至最优解，并将该框架扩展至异步和加速变体（ARAPSA），在理论上保证了期望下的次线性收敛速率。

ABSTRACT

We consider learning problems over training sets in which both, the number of training examples and the dimension of the feature vectors, are large. To solve these problems we propose the random parallel stochastic algorithm (RAPSA). We call the algorithm random parallel because it utilizes multiple parallel processors to operate on a randomly chosen subset of blocks of the feature vector. We call the algorithm stochastic because processors choose training subsets uniformly at random. Algorithms that are parallel in either of these dimensions exist, but RAPSA is the first attempt at a methodology that is parallel in both the selection of blocks and the selection of elements of the training set. In RAPSA, processors utilize the randomly chosen functions to compute the stochastic gradient component associated with a randomly chosen block. The technical contribution of this paper is to show that this minimally coordinated algorithm converges to the optimal classifier when the training objective is convex. Moreover, we present an accelerated version of RAPSA (ARAPSA) that incorporates the objective function curvature information by premultiplying the descent direction by a Hessian approximation matrix. We further extend the results for asynchronous settings and show that if the processors perform their updates without any coordination the algorithms are still convergent to the optimal argument. RAPSA and its extensions are then numerically evaluated on a linear estimation problem and a binary image classification task using the MNIST handwritten digit dataset.

研究动机与目标

• 解决特征维度和训练集规模均极大的大规模学习挑战。
• 开发一种在块选择和训练样本选择上均支持并行的新优化框架。
• 在凸目标函数下，通过最小化协调实现对最优解的收敛。
• 将算法扩展至异步设置，以提升可扩展性和鲁棒性。
• 提出一种加速变体（ARAPSA），通过 Hessian 近似实现更快的收敛速度。

提出的方法

• RAPSA 将参数向量划分为 B 个块，并使用 I 个并行处理器在每次迭代中随机选择块和训练样本。
• 每个处理器使用随机选取的训练函数子集，为其选定的块计算一个随机梯度分量。
• 该算法采用递减步长规则，并在 ARAPSA 中引入 Hessian 近似矩阵以加速收敛。
• 通过带延迟的鞅差分序列证明收敛性，利用期望下降和可 summable 的误差项。
• 通过建模延迟更新，理论分析考虑了异步性，并证明了目标误差的几乎必然收敛。
• 在特定步长和参数条件下，推导出 ARAPSA 中期望目标误差的次线性收敛速率 O(1/t)。

实验结果

研究问题

• RQ1 能否设计一种在参数块选择和训练样本选择上均并行的随机算法？
• RQ2 在凸性假设下，此类双重随机算法是否收敛至最优解？
• RQ3 在无全局协调的异步设置中，能否保持收敛性？
• RQ4 Hessian 的曲率信息是否能在此框架中提升收敛速度？
• RQ5 所提算法在期望下的收敛速率是多少？

主要发现

• 当目标函数为凸时，RAPSA 几乎必然收敛至最优解 F(x*)。
• RAPSA 的期望目标误差以 O(1/t) 的次线性速率衰减，如不等式 E[F(x^t) - F(x*)] ≤ C / (t + T^0) 所形式化。
• ARAPSA 作为加速变体，通过在下降方向中引入 Hessian 近似矩阵，实现了更快的收敛速度。
• 即使在异步设置中，算法仍能保持收敛，因为更新延迟被限制在有界范围内。
• 理论分析确认，下降项之和 β^t 几乎必然为有限值，意味着目标间隙的 liminf 为零。
• 收敛速率界依赖于问题参数，如强凸性常数 m、Hessian 的利普希茨常数 M 和延迟 τ。