[論文レビュー] Incremental Stochastic Subgradient Algorithms for Convex Optimization

S. Sundhar Ram, Angelia Nedich+1 more|ArXiv.org|Jun 6, 2008

Stochastic Gradient Optimization Techniques参考文献 24被引用数 15

ひとこと要約

本稿では、確率的勾配誤差を伴う分散ネットワークにおける分散凸最適化のための段階的確率的勾配アルゴリズムを提案する。2つの手法—巡回的およびマコフ確率的ランダム化段階的勾配—を分析し、減少するステップサイズのもとで概収束を証明し、定数ステップサイズの下で概収束誤差境界を導出する。時間非一様マコフスイッチングを伴うエージェントの切り替えのもとで、従来の結果を時変動トポロジーとノイズのある勾配を有する移動型ネットワークに拡張する。

ABSTRACT

In this paper we study the effect of stochastic errors on two constrained incremental sub-gradient algorithms. We view the incremental sub-gradient algorithms as decentralized network optimization algorithms as applied to minimize a sum of functions, when each component function is known only to a particular agent of a distributed network. We first study the standard cyclic incremental sub-gradient algorithm in which the agents form a ring structure and pass the iterate in a cycle. We consider the method with stochastic errors in the sub-gradient evaluations and provide sufficient conditions on the moments of the stochastic errors that guarantee almost sure convergence when a diminishing step-size is used. We also obtain almost sure bounds on the algorithm's performance when a constant step-size is used. We then consider am{the} Markov randomized incremental subgradient method, which is a non-cyclic version of the incremental algorithm where the sequence of computing agents is modeled as a time non-homogeneous Markov chain. Such a model is appropriate for mobile networks, as the network topology changes across time in these networks. We establish the convergence results and error bounds for the Markov randomized method in the presence of stochastic errors for diminishing and constant step-sizes, respectively.

研究の動機と目的

• 各エージェントが目的関数の一部しか知らない分散ネットワークにおける確率的誤差が段階的勾配法に与える影響を分析すること。
• 巡回的でない、時間非一様マコフ確率的ランダム化段階的勾配法への既存の収束結果を、動的トポロジーを持つ移動型ネットワークに適した形に拡張すること。
• 確率的勾配誤差のもとで、減少するステップサイズを用いた概収束と、定数ステップサイズを用いた概収束誤差境界を確立すること。
• ネットワークトポロジーの完全な知識を必要とせず、接続性の仮定に依存する性能保証を提供すること。
• 分散最適化フレームワークに確率的誤差と時変動エージェント選択ダイナミクスを組み込むことで、先行研究を一般化すること。

提案手法

• ネットワークを、エージェントがリング（巡回的）に接続するか、時間非一様マコフ連鎖に従ってエージェントを選択する分散システムとしてモデル化する。
• 段階的勾配更新を用い、1回の反復で1つのエージェントのみが反復値を更新する。更新は、局所的勾配と確率的誤差モデルに基づく。
• 減少するステップサイズルールを適用し、確率的勾配誤差が存在する状況でも最適解への概収束を保証する。
• 定数ステップサイズ戦略を用いて、勾配誤差のモーメント条件を仮定し、最適でない差の概収束誤差境界を導出する。
• 補題1および補題7を用いて基本的な反復式を導出し、収束性と誤差境界導出のための標準的手法を活用する。
• ネットワークの遷移行列の完全な知識を必要とせず、接続性とモーメント仮定に依存する性能境界が計算可能である、新規なフレームワークを導入する。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配誤差が存在する状況で、減少するステップサイズを用いた巡回的段階的勾配アルゴリズムが概収束するための条件は何か？
• RQ2 確率的勾配誤差のもとで、定数ステップサイズを用いた巡回的段階的勾配法の概収束誤差境界は何か？
• RQ3 エージェント選択シーケンスが時間非一様マコフ連鎖に従う場合、マコフ確率的ランダム化段階的勾配法の収束挙動はどのように変化するか？
• RQ4 ネットワークトポロジーの完全な知識を必要とせず、定数ステップサイズと確率的勾配誤差のもとで、マコフ確率的ランダム化法の誤差境界を導出できるか？
• RQ5 誤差なしの勾配と時間一様マコフ連鎖を仮定する先行結果と比較して、提案された境界は構造的・実用的にどのように異なるか？

主な発見

• 確率的勾配誤差が存在する状況で、減少するステップサイズを用いた巡回的段階的勾配アルゴリズムは、誤差のモーメント条件のもとで概収束し、最適解に収束する。
• 定数ステップサイズを用いた巡回的手法では、期待される最適でない差の上限が、誤差モーメント、実行可能集合の直径、およびステップサイズに依存する項で与えられ、目的関数値の下限に対する概収束境界が得られる。
• 減少するステップサイズを用いたマコフ確率的ランダム化段階的勾配法は、時変動的かつ非一様マコフ的エージェント選択の下でも、最適解への概収束を達成する。
• 定数ステップサイズを用いた場合、マコフ確率的ランダム化法は、ステップサイズ、誤差モーメントの上限、およびネットワーク直径に依存する概収束誤差境界を達成する。この境界はαおよびβパラメータを含む閉形式で表される。
• 補題10における誤差境界は、ステップサイズαが0に近づくにつれて0に収束するため、減少するステップサイズの収束性と整合的であることが確認される。
• 提案された境界は、ネットワークトポロジーの完全な知識を必要とせず、先行研究がマコフ連鎖の遷移行列を必要とするのとは異なり、移動型および動的ネットワークにおいてより実用的である。