[論文レビュー] Asynchronous Stochastic Proximal Optimization Algorithms with Variance Reduction

Qi Meng, Wei Chen+4 more|arXiv (Cornell University)|Sep 27, 2016

Stochastic Gradient Optimization Techniques参考文献 18被引用数 10

ひとこと要約

本稿では、大規模な正則化付き経験的リスク最小化（R-ERM）における収束速度の向上を目的として、ProxSVRGおよびProxSVRCDの非同期版、すなわちAsync-ProxSVRGおよびAsync-ProxSVRCDを提案する。非同期版では分散低減技術を活用し、収束を高速化する。理論的に、データが疎である場合にAsync-ProxSVRGが近似的な線形スケーリングを達成することを証明した。一方、Blockサイズが入力次元に対して小さい場合、データの疎性に依存せずにAsync-ProxSVRCDも同様のスケーリングを達成する。実験により、ベンチマークデータセット上での有効性が検証された。

ABSTRACT

Regularized empirical risk minimization (R-ERM) is an important branch of machine learning, since it constrains the capacity of the hypothesis space and guarantees the generalization ability of the learning algorithm. Two classic proximal optimization algorithms, i.e., proximal stochastic gradient descent (ProxSGD) and proximal stochastic coordinate descent (ProxSCD) have been widely used to solve the R-ERM problem. Recently, variance reduction technique was proposed to improve ProxSGD and ProxSCD, and the corresponding ProxSVRG and ProxSVRCD have better convergence rate. These proximal algorithms with variance reduction technique have also achieved great success in applications at small and moderate scales. However, in order to solve large-scale R-ERM problems and make more practical impacts, the parallel version of these algorithms are sorely needed. In this paper, we propose asynchronous ProxSVRG (Async-ProxSVRG) and asynchronous ProxSVRCD (Async-ProxSVRCD) algorithms, and prove that Async-ProxSVRG can achieve near linear speedup when the training data is sparse, while Async-ProxSVRCD can achieve near linear speedup regardless of the sparse condition, as long as the number of block partitions are appropriately set. We have conducted experiments on a regularized logistic regression task. The results verified our theoretical findings and demonstrated the practical efficiency of the asynchronous stochastic proximal algorithms with variance reduction.

研究の動機と目的

• 大規模な正則化付き経験的リスク最小化（R-ERM）問題におけるスケーラブルで並列処理可能な最適化手法の必要性に対応する。
• ProxSVRGおよびProxSVRCDといった分散低減付き近接アルゴリズムを非同期並列環境に拡張し、学習効率を向上させる。
• これらのアルゴリズムの非同期実装における収束性およびスケーリング条件を理論的に分析する。
• 理論的知見を、スパarsityおよび次元数が異なる実世界のベンチマークデータセット上で実験的に検証する。

提案手法

• ProxSVRGの非同期版であるAsync-ProxSVRGを提案。全パラメータベクトルのアトミックな更新を保証するため、一貫性のある読み取り（consistent read）のセマンティクスを採用する。
• ProxSVRCDの非同期版であるAsync-ProxSVRCDを提案。座標ブロックのアトミックな更新を許容するため、一貫性のない読み取り（inconsistent read）のセマンティクスを採用し、システム効率を向上させる。
• 非同期フレームワークに分散低減技術を統合することで、勾配の分散を低減し、定数ステップサイズで線形収束を実現する。
• 理論的分析により、データが疎である場合にAsync-ProxSVRGが近似的な線形スケーリングを達成することが示された。一方、ブロックサイズが入力次元に対して小さい場合、Async-ProxSVRCDも同様のスケーリングを達成する。
• 標準的なハイパーパrameterを用いて両アルゴリズムを実装：ステップサイズ η = 0.04、ミニバッチサイズ B = 200、内側ループサイズ K は 2n または 2nm に設定。
• 入力特徴量を正規化することで、リプシッツ定数 L ≤ 0.25 を保証し、収束の安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ProxSVRGの非同期並列処理は、どのようなデータ条件下で近似的な線形スケーリングを達成できるか？
• RQ2 非同期ProxSVRCDは、データの疎性に依存せずに近似的な線形スケーリングを達成できるか？また、そのために必要なブロックサイズの条件は何か？
• RQ3 実際の応用において、非同期ProxSVRGおよびProxSVRCDの収束速度とスケーリングは、それらの逐次版と比べてどの程度異なるか？
• RQ4 近接確率的最適化において、非同期性と分散低減技術を効果的に組み合わせられるか？収束性能が劣化しないか？

主な発見

• Async-ProxSVRGはrcv1のような疎なデータセットで近似的な線形スケーリングを達成し、特に最も疎なデータで最大のスケーリング効果が観察された。
• Async-ProxSVRCDは、高次元で密なデータセット（news20）でも顕著なスケーリング効果を示した。これは、入力次元に対してブロックサイズが小さいという理論的条件を満たしていることと整合的である。
• rcv1、real-sim、news20の3つのベンチマークデータセットすべてにおいて、非分散低減型の対応手法（Async-ProxSGD や Async-ProxSCD）よりも、両非同期アルゴリズムが収束速度で優れていた。
• Async-ProxSVRGのスケーリングは、rcv1（疎）で最大、news20（密）で最小であった。これは理論的予測であるデータの疎性依存性を裏付けた。
• Async-ProxSVRCDのスケーリングは、ブロックサイズ条件を最も容易に満たすnews20で最も顕著であり、理論的洞察の妥当性が実験的に裏付けられた。
• 実験結果により、非同期性と分散低減技術を効果的に組み合わせられ、大規模なR-ERMにおける収束速度の向上が可能であることが確認された。