[論文レビュー] Accelerating Asynchronous Algorithms for Convex Optimization by Momentum Compensation

Cong Fang, Yameng Huang+1 more|arXiv (Cornell University)|Feb 27, 2018

Stochastic Gradient Optimization Techniques参考文献 11被引用数 7

ひとこと要約

本稿では、遅延勾配を補正することで、非強凸問題に対して$O(1/\sqrt{\epsilon})$、強凸問題に対して$O(\sqrt{\kappa}\log(1/\epsilon))$の収束速度を達成する、動的補正を導入した非同期凸最適化アルゴリズムの高速化を提案する。これは、SGDおよび座標降下法の新しい加速非同期バージョンを提案し、理論的・実用的両面で既存手法を上回り、特に悪条件問題において顕著な性能向上を示す。

ABSTRACT

Asynchronous algorithms have attracted much attention recently due to the crucial demands on solving large-scale optimization problems. However, the accelerated versions of asynchronous algorithms are rarely studied. In this paper, we propose the "momentum compensation" technique to accelerate asynchronous algorithms for convex problems. Specifically, we first accelerate the plain Asynchronous Gradient Descent, which achieves a faster $O(1/\sqrtε)$ (v.s. $O(1/ε)$) convergence rate for non-strongly convex functions, and $O(\sqrtκ\log(1/ε))$ (v.s. $O(κ\log(1/ε))$) for strongly convex functions to reach an $ε$- approximate minimizer with the condition number $κ$. We further apply the technique to accelerate modern stochastic asynchronous algorithms such as Asynchronous Stochastic Coordinate Descent and Asynchronous Stochastic Gradient Descent. Both of the resultant practical algorithms are faster than existing ones by order. To the best of our knowledge, we are the first to consider accelerated algorithms that allow updating by delayed gradients and are the first to propose truly accelerated asynchronous algorithms. Finally, the experimental results on a shared memory system show that acceleration can lead to significant performance gains on ill-conditioned problems.

研究の動機と目的

• 凸最適化における加速非同期アルゴリズムの不足、特に遅延勾配を扱えるものへの対応。
• 標準的な$O(1/\epsilon)$および$O(\kappa\log(1/\epsilon))$の収束境界を超える非同期アルゴリズムの収束速度の向上。
• 共有メモリシステムで速度向上を維持する実用的で真の加速非同期アルゴリズムの設計。
• 新しい加速非同期バージョンの収束保証を、遅延が有界であるという仮定のもとで確立すること。

提案手法

• 非同期更新における遅延勾配の影響を補正するための動的補正を導入し、収束を高速化する。
• この手法を非同期勾配降下（AGD）に適用し、非強凸関数では$O(1/\sqrt{\epsilon})$、強凸関数では$O(\sqrt{\kappa}\log(1/\epsilon))$の収束を達成する。
• 動的補正を非同期確率的座標降下（ASCD）および非同期確率的勾配降下（ASGD）に拡張し、AASCDおよびAASGDアルゴリズムを提案する。
• 遅延に適応するヘシアン・ベクトルベースの勾配推定器（式209）を導出し、遅延が増加するに従い補正重みが指数関数的に減少することを保証する。
• スピンロックとスパース更新技術を用いてメモリ競合を防止し、スパースデータセットにおける効率を向上させる。
• スパース更新の影響を制限する$\triangle$仮定を用い、スパarsityに依存する収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 動的補正を用いることで、標準的な収束速度を超えて非同期凸最適化アルゴリズムを加速できるか？
• RQ2 特に遅延が有界である条件下で、遅延勾配を伴う非同期設定でも加速収束を達成できるか？
• RQ3 提案された加速非同期アルゴリズムは、既存手法と比較して収束速度および実用的性能で優れているか？
• RQ4 遅延とスパarsityの仮定のもとで、加速非同期アルゴリズムに理論的収束保証を確立できるか？

主な発見

• 提案されたAAGDは、非強凸関数に対して$O(1/\sqrt{\epsilon})$、強凸関数に対して$O(\sqrt{\kappa}\log(1/\epsilon))$の収束を達成し、定数要因を除いて下界に一致する。
• AASCDおよびAASGDは、既存の非同期対応手法を上回る収束速度を達成し、それぞれ$(n\sqrt{L}+n\tau\sqrt{L_{c}})\sqrt{1/\epsilon}$および$n+(n+\tau\sqrt{n})\sqrt{L/\epsilon}$の改善されたレートを達成する。
• 悪条件問題では、実験結果から顕著な性能向上が確認され、正則化パラメータ$\lambda$が小さい場合に特に顕著で、最先端手法を上回ることを示している。
• スピンロックとスパース更新技術により、アルゴリズムは安定性と効率性を維持し、共有メモリシステム上での正しく計算が保証される。
• 理論的分析により、ヘシアン・ベクトルベースの推定器（式209）が遅延に伴い補正重みが指数関数的に減少することを保証し、大きな遅延下でも収束が維持されることを示している。
• $\triangle$仮定により、スパarsityを考慮したよりきめ細かい収束境界が得られ、更新の変化が小さく予測可能であることが示された。