[論文レビュー] A Class of Parallel Doubly Stochastic Algorithms for Large-Scale Learning

Aryan Mokhtari, Alec Koppel+1 more|arXiv (Cornell University)|Jun 15, 2016

Stochastic Gradient Optimization Techniques被引用数 8

ひとこと要約

本稿では、パラメータブロックと訓練サンプルの両方で同時に確率的選択を行う、大規模学習のための新規な並列二重確率的アルゴリズムRAPSAを提案する。凸性のもとで最適解への収束を証明し、非同期版および加速版（ARAPSA）へのフレームワークの拡張を実施。期待値における部分線形収束レートを理論的保証とともに達成する。

ABSTRACT

We consider learning problems over training sets in which both, the number of training examples and the dimension of the feature vectors, are large. To solve these problems we propose the random parallel stochastic algorithm (RAPSA). We call the algorithm random parallel because it utilizes multiple parallel processors to operate on a randomly chosen subset of blocks of the feature vector. We call the algorithm stochastic because processors choose training subsets uniformly at random. Algorithms that are parallel in either of these dimensions exist, but RAPSA is the first attempt at a methodology that is parallel in both the selection of blocks and the selection of elements of the training set. In RAPSA, processors utilize the randomly chosen functions to compute the stochastic gradient component associated with a randomly chosen block. The technical contribution of this paper is to show that this minimally coordinated algorithm converges to the optimal classifier when the training objective is convex. Moreover, we present an accelerated version of RAPSA (ARAPSA) that incorporates the objective function curvature information by premultiplying the descent direction by a Hessian approximation matrix. We further extend the results for asynchronous settings and show that if the processors perform their updates without any coordination the algorithms are still convergent to the optimal argument. RAPSA and its extensions are then numerically evaluated on a linear estimation problem and a binary image classification task using the MNIST handwritten digit dataset.

研究の動機と目的

• 特徴次元と訓練データサイズの両方が巨大な大規模学習の課題に対処すること。
• ブロック選択と訓練サンプル選択の両方で並列化された新しい最適化フレームワークの開発。
• 最小限の調整で凸目的関数のもとで最適解への収束を保証すること。
• スケーラビリティと耐障害性を向上させるために、非同期設定への拡張を実施すること。
• Hessian近似を用いて収束を加速する加速版（ARAPSA）の提案。

提案手法

• RAPSAはパラメータベクトルをB個のブロックに分割し、各イテレーションでI個の並列プロセッサがブロックと訓練サンプルを確率的に選択する。
• 各プロセッサは、選択されたブロックに対して、訓練関数のランダムサブセットを用いて確率的勾配成分を計算する。
• アルゴリズムは減少するステップサイズルールを採用し、ARAPSAでは収束を加速するためにヘッセ行列の近似行列を組み込む。
• 収束は遅延を伴うマルティングール差分列を用いて証明され、期待される勾配降下とsummable誤差項を活用する。
• 非同期性は遅延更新のモデル化により扱われ、目的関数誤差のほとんど確実な収束が示される。
• 特定のステップサイズおよびパrameter条件のもとで、ARAPSAにおける期待目的関数誤差の部分線形収束レートO(1/t)が導出される。

実験結果

リサーチクエスチョン

• RQ1 パラメータブロック選択と訓練サンプル選択の両方で並列化された確率的アルゴリズムを設計可能か？
• RQ2 このような二重確率的アルゴリズムは、凸性仮定のもとで最適解へ収束するか？
• RQ3 グローバルな調整なしに非同期設定でも収束が保たれるか？
• RQ4 ヘッセ行列からの曲率情報が、このフレームワークにおける収束速度を向上させられるか？
• RQ5 提案されたアルゴリズムの期待値における収束レートは何か？

主な発見

• 目的関数が凸であるとき、RAPSAは最適解F(x*)へほとんど確実に収束する。
• RAPSAにおける期待目的関数誤差は、E[F(x^t) - F(x*)] ≤ C / (t + T^0) として形式化された部分線形レートO(1/t)で減少する。
• 加速版ARAPSAは、降下方向にヘッセ行列の近似行列を組み込むことで、より速い収束を達成する。
• プロセッサが調整なしに更新を行う非同期設定でも、更新の遅延が有界であるため、アルゴリズムは収束を維持する。
• 理論的分析により、降下項β^tの和がほとんど確実に有限であることが確認され、目的関数ギャップのliminfがゼロであることが示される。
• 収束レートの上限は、強凸定数m、ヘッセのリプシッツ定数M、遅延τといった問題パラメータに依存する。