[論文レビュー] ASAGA: Asynchronous Parallel SAGA

Rémi Leblond, Fabián Pedregosa+1 more|arXiv (Cornell University)|Jun 15, 2016

Stochastic Gradient Optimization Techniques参考文献 3被引用数 12

ひとこと要約

この論文では、有限和最適化のための非同期並列版であるAsagaを紹介する。Asagaはスパarsity仮定を必要とせず、線形収束を達成する。摂動された反復フレームワークを単純化し、収束証明における根本的な技術的不一致を解消することで、マルチコアシステム上で理論的な線形スケーリングを達成し、40コアアーキテクチャ上でも実用的な性能向上を実現した。収束は、比較・交換（compare-and-swap）命令が使用される場合にのみ保証される。

ABSTRACT

We describe ASAGA, an asynchronous parallel version of the incremental gradient algorithm SAGA that enjoys fast linear convergence rates. Through a novel perspective, we revisit and clarify a subtle but important technical issue present in a large fraction of the recent convergence rate proofs for asynchronous parallel optimization algorithms, and propose a simplification of the recently introduced "perturbed iterate" framework that resolves it. We thereby prove that ASAGA can obtain a theoretical linear speedup on multi-core systems even without sparsity assumptions. We present results of an implementation on a 40-core architecture illustrating the practical speedup as well as the hardware overhead.

研究の動機と目的

• 有限和問題のための効率的でロックフリーな非同期並列最適化アルゴリズムの開発。
• 特に、不偏勾配仮定と証明技法の間の不一致に起因する、非同期確率的アルゴリズムの収束証明における根本的な技術的不一致の解消。
• スパarsityが存在しない状況でも、適切に条件付けられた設定下では理論的に線形スケーリングが達成可能であることを証明すること。
• 40コアシステム上でAsagaを実装・評価し、非同期SGDおよびSVRGの変種と比較して実用的な性能向上を示すこと。

提案手法

• 並列実行に最適化された、Sagaアルゴリズムのスパース版を提案する。
• 一貫した読み込みを回避し、スレッドセーフを確保するために比較・交換命令を使用する、ロックフリーな非同期並列アルゴリズムAsagaを導入する。
• Maniaら（2015）の摂動された反復フレームワークを単純化し、有界勾配の必要性を排除し、収束解析を強化する。
• 反復に新しいラベル付け方式を採用し、より緊密な不等式を用いることで、非制約設定と整合しない仮定を排除する。
• 線形モデルにおける効率的なメモリ使用を実現するため、各勾配ごとに1つのスカラを用いる。
• 共有メモリに保持されるグローバルな平均勾配推定値を、アトミック操作で非同期に更新する。

実験結果

リサーチクエスチョン

• RQ1 非同期並列版のSagaは、スパarsity仮定なしに線形収束を達成できるか？
• RQ2 既存の非同期アルゴリズムにおける、不偏勾配仮定と証明技法の間の不一致が、理論的影響に与える影響は何か？
• RQ3 Asagaはマルチコアシステム上で線形スケーリングを達成するのか？どのような条件下で達成されるのか？
• RQ4 比較・交換命令の使用は、非アトミック操作と比較して、実際の収束にどのような影響を与えるか？
• RQ5 提案された収束解析フレームワークは、整合性のない仮定を排除しながらも、厳密性を保ちつつ単純化可能か？

主な発見

• 重複バウンズ τ ≤ O(n) および τ ≤ O(1/√Δ × max{1, n/κ}) の下で、Asagaは元のSagaアルゴリズムと同等の幾何的収束速度を達成する。
• 特に n ≫ κ の適切に条件付けられた領域では、スパarsityが存在しない状況でも理論的な線形スケーリングが可能である。
• 実用的な40コアアーキテクチャ上でのAsaga実装は、非同期SGDおよびSVRGの変種と比較して顕著な性能向上を示した。
• 実装におけるスレッドセーフでない操作は、ある部分最適性レベルを超えて収束しなかったが、比較・交換命令を使用することで、機械精度まで収束が保証された。
• Asagaの最良のステップサイズは、コア数の変化に関係なく安定しており、並列化スケールに対して頑健であることが示された。
• 実装では各勾配ごとに1つのスカラを使用しており、線形モデルにおける効率的なメモリ使用が可能になった。