[論文レビュー] Asynchronous Stochastic Block Coordinate Descent with Variance Reduction

Bin Gu, Zhouyuan Huo+1 more|arXiv (Cornell University)|Oct 29, 2016

Stochastic Gradient Optimization Techniques参考文献 33被引用数 8

ひとこと要約

本稿では、スケーラブルな並列計算を可能にするロックフリーな並列計算を可能にする、合成凸最適化のための非同期確率的ブロック座標降下法 AsySBCDVR を提案する。強い凸性のもとでは線形収束を達成し、それ以外では部分線形収束を達成する。共有メモリシステム上ではニアーライナー速度向上を達成し、高次元かつ大規模なデータに対するスケーラブルな学習を可能にする。

ABSTRACT

Asynchronous parallel implementations for stochastic optimization have received huge successes in theory and practice recently. Asynchronous implementations with lock-free are more efficient than the one with writing or reading lock. In this paper, we focus on a composite objective function consisting of a smooth convex function $f$ and a block separable convex function, which widely exists in machine learning and computer vision. We propose an asynchronous stochastic block coordinate descent algorithm with the accelerated technology of variance reduction (AsySBCDVR), which are with lock-free in the implementation and analysis. AsySBCDVR is particularly important because it can scale well with the sample size and dimension simultaneously. We prove that AsySBCDVR achieves a linear convergence rate when the function $f$ is with the optimal strong convexity property, and a sublinear rate when $f$ is with the general convexity. More importantly, a near-linear speedup on a parallel system with shared memory can be obtained.

研究の動機と目的

• サンプルサイズと次元が両方とも巨大な大規模機械学習およびコンピュータビジョンにおけるスケーラブルな最適化のニーズに対応すること。
• 現在の非同期確率的アルゴリズムが、原子的（1座標）であるか、ブロック座標更新に対して理論的保証を欠いているという限界を克服すること。
• ブロック単位の更新と分散低減をサポートする、ロックフリーで並列化可能なアルゴリズムを開発すること。
• 強い凸性のもとでは線形収束、それ以外では部分線形収束を保証する理論的収束保証を確保するとともに、共有メモリシステム上でのニアーライナー速度向上を維持すること。

提案手法

• 各イテレーションで座標のブロックとデータサンプルを確率的に選択する二重確率的スキームを用いた、非同期確率的ブロック座標降下法 AsySBCDVR を提案する。
• 収束を加速するために、SVRG風の分散低減技術をブロック座標フレームワークに統合する。
• 実装および分析の両面でロックフリーであるようにアルゴリズムを設計し、共有メモリ並列システムにおける同期のボトルネックを回避する。
• 遅延更新と古くなった勾配を考慮するために、摂動された反復フレームワークを用いて非同期下での収束を分析する。
• 進行状況を追跡し収束境界を導出するために、Lyapunov関数 $ S(x^s) = ext{E}ig[igracevert x^s - ext{Proj}_S(x^s) igracevert^2ig] + rac{2 au}{L_{ ext{max}}} ext{E}[F(x^s) - F^*] $ を定義する。
• 目的関数の滑らかさ、凸性、およびブロック分離性を活用して、1イテレーションあたりのLyapunov関数の期待値の減少をバインドすることで収束レートを確立する。

実験結果

リサーチクエスチョン

• RQ1 分散低減付きの非同期ブロック座標降下法は、滑らかな成分 $ f $ が強い凸性を満たす場合に線形収束を達成できるか？
• RQ2 提案された AsySBCDVR アルゴリズムは一般凸性のもとでも収束を保証するか？ その場合の収束レートは何か？
• RQ3 共有メモリ並列システム上でロックなしでニアーライナー速度向上を達成できるか？
• RQ4 非同期環境下で、ブロック座標更新は1座標更新と比較して収束にどのような影響を与えるか？
• RQ5 非同期および古くなった勾配を伴う分散低減非同期ブロック手法に対して、どのような理論的保証を確立できるか？

主な発見

• 滑らかな成分 $ f $ が強い凸性を満たす場合、AsySBCDVR は収束レート $ ig(1 - rac{2m au l}{2k(l au + L_{ ext{max}})}ig)^s $ を達成する。ここで $ m $ はブロック数、$ k $ は総ブロック数、$ l $ は強い凸性パラメータ、$ au $ はステップサイズである。
• 一般凸性のもとでは、AsySBCDVR は $ O(1/s) $ の部分線形収束レートを達成し、類似手法における最高水準のレートと一致する。
• ロックフリー設計のおかげで、共有メモリシステム上でもニアーライナー速度向上を維持する。これにより、サンプルサイズおよび次元の両方のスケーリングが効率的に行える。
• 理論的分析により、Lyapunov関数の1イテレーションあたりの期待値の減少が有界であることが確認され、非同期および遅延更新の下でも収束が保証される。
• $ g(x) $ のブロック分離構造のおかげで、Lasso、グループLasso、スパースマルチクラス分類など、幅広い機械学習問題に適用可能である。
• ブロック更新は原子的1座標更新よりも複雑であるため、その複雑さを考慮した収束解析を行い、非同期下でもきめ細やかな境界を確立した。