[論文レビュー] Asynchronous Coordinate Descent under More Realistic Assumptions

Tao Sun, Robert Hannah+1 more|arXiv (Cornell University)|May 20, 2017

Statistical Methods and Inference参考文献 13被引用数 12

ひとこと要約

本稿は、ブロック更新と遅延ベクトルの間の不切実な独立性を排除することで、より現実的な仮定の下で非同期ブロック座標降下の収束を確立する。遅延を外乱ではなくシステムの内在的要因としてモデル化する遅延に配慮したリャプノフ関数を導入し、決定論的および確率的ブロック選択ルールの下で、有界および無限大の遅延に対しても収束を証明した。非凸、弱凸、強い凸関数への適用が可能である。

ABSTRACT

Asynchronous-parallel algorithms have the potential to vastly speed up algorithms by eliminating costly synchronization. However, our understanding to these algorithms is limited because the current convergence of asynchronous (block) coordinate descent algorithms are based on somewhat unrealistic assumptions. In particular, the age of the shared optimization variables being used to update a block is assumed to be independent of the block being updated. Also, it is assumed that the updates are applied to randomly chosen blocks. In this paper, we argue that these assumptions either fail to hold or will imply less efficient implementations. We then prove the convergence of asynchronous-parallel block coordinate descent under more realistic assumptions, in particular, always without the independence assumption. The analysis permits both the deterministic (essentially) cyclic and random rules for block choices. Because a bound on the asynchronous delays may or may not be available, we establish convergence for both bounded delays and unbounded delays. The analysis also covers nonconvex, weakly convex, and strongly convex functions. We construct Lyapunov functions that directly model both objective progress and delays, so delays are not treated errors or noise. A continuous-time ODE is provided to explain the construction at a high level.

研究の動機と目的

• 実際の応用において現実的であるが、収束理論が不足している非同期座標降下の収束理論を整備すること。
• 先行研究におけるブロックインデックスと遅延ベクトルの間の不切実な独立性仮定を排除すること。
• 遅延を外乱や誤差としてモデル化せずに、有界および無限大の遅延に対しても収束を保証すること。
• 確率的および決定論的ブロック選択ルール（サイクル的およびランダム選択を含む）の両方に対して収束保証を提供すること。
• 非凸、弱凸、強い凸関数のすべてにわたる収束分析を、統一されたフレームワークで統合すること。

提案手法

• 目的関数の進捗と遅延ダイナミクスの両方を直接組み込んだ、画期的なリャプノフ関数を提案し、遅延を摂動ではなく構造的要因として扱う。
• 連続時間のODEモデルを用いてリャプノフ関数の構築を導き、直感的な理解を提供する。
• 無限大の遅延に対応するため、遅延に適応するステップサイズを導入し、$ \gamma_k = c / D_{j(k)} $ と定義する。ここで $ D_{j(k)} $ は累積遅延重みに依存する。
• 無限大の遅延に対しては、現在の遅延が $ T $ で有界である点に注目する部分列分析を採用し、$ Q_T $ と表記する。
• ECSD（本質的にサイクル的で半無限大遅延）仮定を導入し、任意のウィンドウ内で各ブロックが十分に頻繁に更新されることを保証する。
• リャプノフ関数の減少により十分な降下条件を導出し、$ H_k - H_{k+1} \geq L(\frac{1}{\gamma_k} - D_{j(k)})\|\Delta^k\|_2^2 $ を証明する。

実験結果

リサーチクエスチョン

• RQ1 ブロック選択と遅延ベクトルの間の独立性を仮定しない非同期ブロック座標降下は収束可能か？
• RQ2 事前の有界性が与えられていない無限大の遅延に対しても、収束を保証できるか？
• RQ3 確率的および決定論的ブロック選択ルールの両方に対して収束を確立できるか？
• RQ4 非凸、弱凸、強い凸関数を統一されたフレームワークで扱えるか？
• RQ5 収束証明において、遅延を外乱や誤差ではなくシステムの内在的要因としてモデル化できるか？

主な発見

• 確率的ブロック選択と無限大の遅延のもとで、独立性仮定なしに $ \mathbb{E}\|\nabla f(x^k)\|_2 \to 0 $ の収束が証明された。
• 強い凸関数に対しては、適切なステップサイズと遅延に適応するルールのもとで、線形収束 $ \mathbb{E}(f(x^k) - \min f) = O(c^k) $（$ c < 1 $）が達成された。
• 決定論的ブロック選択とECSD仮定のもとで、任意の $ T \geq B $ に対して $ \lim_{k \in Q_T} \|\nabla f(x^k)\|_2 = 0 $ が成り立ち、有界遅延部分列での収束が保証された。
• リャプノフ関数 $ H_k = f(x^k) + \frac{L}{2} \sum_{i=1}^\infty \kappa_i \|\Delta^{k-i}\|_2^2 $ は十分な降下と遅延に配慮した安定性を保証する。
• 分析は遅延を外乱ではなくシステムの構造的特徴として扱い、より厳密で現実的な収束保証を可能にした。
• 有界および無限大の遅延の両方に対して収束が確立され、非凸、弱凸、強い凸関数を含む、統一された理論的枠組みでカバーされた。