[論文レビュー] Asynchronous Iterations in Optimization: New Sequence Results and Sharper Algorithmic Guarantees

Hamid Reza Feyzmahdavian, Mikael Johansson|arXiv (Cornell University)|Sep 9, 2021

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿は最適化における非同期反復の新しい逐次的収束結果を導入し、非同期度に依存する鋭い明示的バウンドを可能にすることで収束速度のより鋭い境界を提供する。主なアルゴリズム族の分析を統一することで、Proximal Incremental Gradient 法の反復複雑度を改善し、平均遅延を用いた非同期 SGD の保証を強化し、一般の遅延モデル下でのブロック座標更新および完全非同期スキームの収束速度をより厳密に特定する。

ABSTRACT

We introduce novel convergence results for asynchronous iterations that appear in the analysis of parallel and distributed optimization algorithms. The results are simple to apply and give explicit estimates for how the degree of asynchrony impacts the convergence rates of the iterates. Our results shorten, streamline and strengthen existing convergence proofs for several asynchronous optimization methods and allow us to establish convergence guarantees for popular algorithms that were thus far lacking a complete theoretical understanding. Specifically, we use our results to derive better iteration complexity bounds for proximal incremental aggregated gradient methods, to obtain tighter guarantees depending on the average rather than maximum delay for the asynchronous stochastic gradient descent method, to provide less conservative analyses of the speedup conditions for asynchronous block-coordinate implementations of Krasnoselskii-Mann iterations, and to quantify the convergence rates for totally asynchronous iterations under various assumptions on communication delays and update rates.

研究の動機と目的

• 現実的な非同期モデル下で、非同期最適化アルゴリズムに対する明示的かつ鋭い収束速度保証の欠如に対処すること。
• Hogwild!、ASGD、ARock、Asaga などの代表的な非同期手法の収束証明を統一的かつ簡素化し、これまで複雑で特異的な帰納法に依存していたものを改善すること。
• 非同期の構造的影響を捉える一般化可能な理論的ツールを開発し、ノイズや最悪ケース摂動として扱うのではなく、その本質を捉えること。
• 有界および無限大の通信遅延の両方の下で収束速度を定量化すること、特に完全非同期反復の下で行うこと。
• 平均遅延に基づくステップサイズと複雑度バウンドを用いることで、アルゴリズムの効率を向上させ、最大遅延ではなく平均遅延に依存するより大きなステップサイズとより鋭い複雑度バウンドを可能にすること。

提案手法

• 非同期反復のダイナミクスをモデル化する特定の不等式によって定義される2つの逐次的族を導入する。
• これらの逐次的族に対する一般収束定理を導出し、最大遅延や平均遅延などの非同期パラメータに依存する明示的な減衰率を提供する。
• これらの逐次的結果を用いて、Proximal Incremental Aggregated Gradient 法の分析を行い、改善された反復複雑度バウンドを導出する。
• フレームワークを用いて遅延依存ステップサイズを用いた非同期確率的勾配降下法を分析し、最大遅延ではなく平均遅延に依存するより鋭いバウンドを導出する。
• ブロック座標更新下での Krasnosel’skiĭ-Mann 反復に結果を適用し、スループットの向上とステップサイズの許容範囲の拡大を実現する。
• 線形に増加する無限大の遅延下で、多項式減衰率を持つリャプノフ型関数を構築することで、完全非同期反復の収束速度を O(1/k^η)（あるη > 0）として示す。

実験結果

リサーチクエスチョン

• RQ1 非同期度に依存する明示的かつ非漸近的な収束速度バウンドを、非同期最適化アルゴリズムに対してどのように導出できるか？
• RQ2 ASGD、ARock、Proximal IAG などの非同期手法の既存の収束証明を、共通する逐次的構造を特定することで統一的かつ簡素化できるか？
• RQ3 ステップサイズルールと複雑度バウンドにおいて、最大遅延ではなく平均遅延を用いることで、収束保証をどの程度改善できるか？
• RQ4 通信遅延が無限に増加する場合に、完全非同期反復の収束速度をどの程度確立できるか？
• RQ5 提案された逐次的結果は、ブロック座標および擬似収縮に基づく非同期アルゴリズムの理論的理解をどの程度向上させるか？

主な発見

• 強凸かつL-スムーズな目的関数に対するProximal Incremental Aggregated Gradient法では、反復複雑度がO(Lτ/ε)に改善され、従来のO(L²τ³/ε)のバウンドに比べ顕著な低減が達成される。
• 2次的機能的成長条件の下では、反復複雑度はO(Qτ log(1/ε))に低下する。ここでQ = L/μは条件数を表し、以前の結果よりも大きなステップサイズを許容する。
• 非同期確率的勾配降下法では、最大遅延ではなく平均遅延に依存するより鋭い収束保証が得られ、実用性とスケーラビリティが向上する。
• ブロック座標更新のARockフレームワークは、新しい逐次的分析のおかげで、より速い収束速度とより広い許容ステップサイズ範囲を達成する。
• 線形に増加する無限大の遅延下で、完全非同期反復の収束速度がO(1/k^η)（あるη > 0）として示され、現実的な遅延モデル下での明示的減衰が確立される。
• このフレームワークは、先行研究の漸近的収束結果を回復・強化するとともに、明示的かつ定量的なバウンドを提供し、その一般性と強力さを示している。