[論文レビュー] A2BCD: An Asynchronous Accelerated Block Coordinate Descent Algorithm With Optimal Complexity

Robert Hannah, Fei Feng+1 more|arXiv (Cornell University)|Mar 15, 2018

Stochastic Gradient Optimization Techniques参考文献 1被引用数 8

ひとこと要約

本稿では、最適反復複雑度を備えた非同期Nesterov加速ブロック座標降下法であるA2BCDを提案する。これは、遅延のある情報にも耐えられ、NU_ACDMと同等の加速収束速度を達成する。非同期性による複雑度のペナルティがないことを証明し、数値実験でも既存手法を上回る性能を示す。

ABSTRACT

In this paper, we propose the Asynchronous Accelerated Nonuniform Randomized Block Coordinate Descent algorithm (A2BCD), the first asynchronous Nesterov-accelerated algorithm that achieves optimal complexity. This parallel algorithm solves the unconstrained convex minimization problem, using p computing nodes which compute updates to shared solution vectors, in an asynchronous fashion with no central coordination. Nodes in asynchronous algorithms do not wait for updates from other nodes before starting a new iteration, but simply compute updates using the most recent solution information available. This allows them to complete iterations much faster than traditional ones, especially at scale, by eliminating the costly synchronization penalty of traditional algorithms. We first prove that A2BCD converges linearly to a solution with a fast accelerated rate that matches the recently proposed NU_ACDM, so long as the maximum delay is not too large. Somewhat surprisingly, A2BCD pays no complexity penalty for using outdated information. We then prove lower complexity bounds for randomized coordinate descent methods, which show that A2BCD (and hence NU_ACDM) has optimal complexity to within a constant factor. We confirm with numerical experiments that A2BCD outperforms NU_ACDM, which is the current fastest coordinate descent algorithm, even at small scale. We also derive and analyze a second-order ordinary differential equation, which is the continuous-time limit of our algorithm, and prove it converges linearly to a solution with a similar accelerated rate.

研究の動機と目的

• 非同期的で加速されたブロック座標降下法を開発し、古くなった情報を使用しても最適収束複雑度を維持すること。
• 非同期Nesterov加速における理論的ギャップを埋め、最適レートでの線形収束を証明すること。
• 非同期更新が、すくなくとも有界な遅延下でも複雑度ペナルティを引き起こさないことを示すこと。
• A2BCDのダイナミクスを捉える連続時間常微分方程式（ODE）モデルを導出し、分析すること。
• さまざまなスケールで数値実験を通じて、アルゴリズムの優位性を検証すること。

提案手法

• A2BCDは、共有される解ベクトル $x$、$y$、$z$ を含む3変数更新スキームを導入することで、NU_ACDMを非同期設定に拡張する。遅延した勾配情報が使用される。
• ブロックのリプシッツ定数 $L_i$ に基づく確率的かつ非一様な座標ブロック選択を用いることで、加速収束が可能になる。
• 主なイノベーションは、外挿と平均化を組み合わせた二重加速スキームであり、新たなリャプノフ関数解析を用いて非同期性に対応する。
• 共有メモリにおける効率的でスパースな更新を可能にするために、行列 $C^k$ と補助変数 $p_k$、$q_k$ を用いたスパース変換が組み込まれる。
• A2BCDの極限として連続時間ODEモデルが導出され、加速されたレートで線形収束することが証明されている。
• 効率的な共有メモリ実装が設計されており、$y^k$ と $v^k$ の定期的回復により補助変数をリセットし、数値的安定性を維持する。

実験結果

リサーチクエスチョン

• RQ1 Nesterov型加速は、収束複雑度を損なわずに非同期ブロック座標降下設定に成功的に拡張可能か？
• RQ2 非同期設定における古くなった勾配の使用は、収束速度の観点で複雑度ペナルティを引き起こすか？
• RQ3 A2BCDの収束レートは定数倍の範囲で最適であり、NU_ACDMと比較してどうなるか？
• RQ4 A2BCDに対して、収束ダイナミクスを捉え、線形収束を証明する連続時間ODEモデルを導出可能か？
• RQ5 A2BCDは、同期のオーバーヘッドが少ないため、小さなスケールでもNU_ACDMを実際の実験で上回るか？

主な発見

• A2BCDは、NU_ACDMと同等の加速されたレートで線形収束を達成し、非同期更新が最適複雑度バウンドを低下させないことを証明した。
• 有界な最大遅延下でも、定数倍の範囲で最適複雑度が維持され、非同期性に起因する複雑度ペナルティがないことが示された。
• 数値実験により、A2BCDは、同期のオーバーヘッドが少ないため、小さなスケールでもNU_ACDMを上回る収束速度を示した。
• A2BCDの連続時間ODE極限は、類似した加速されたレートで線形収束し、アルゴリズムの動的安定性を検証した。
• 効率的な共有メモリ実装が提案され、スパース更新と定期的な変数回復を活用して、正確性と性能を維持した。
• 理論的解析により、与えられた仮定下で、A2BCDの収束レートが確率的ブロック座標降下法において最適であることが確立された。