[論文レビュー] Optimal Distributed Stochastic Mirror Descent for Strongly Convex Optimization

Deming Yuan, Yiguang Hong+2 more|arXiv (Cornell University)|Oct 15, 2016

Distributed Control Multi-Agent Systems参考文献 26被引用数 5

ひとこと要約

本稿では、時間変動するマルチエージェントネットワーク上で強い凸最適化を実行するための2つの非ユークリッド型分散確率的ミラー降下アルゴリズムを提案する。ユークリッド射影の代わりにブレグマン発散を用いる。最初のアルゴリズムは、$O(\frac{\text{ln}(T)}{T})$ の最良既知の収束速度を達成する。第二のエポックベースの変種は、最適な $O(\frac{1}{T})$ の収束速度を達成し、集中型確率的部分勾配法と一致する。

ABSTRACT

In this paper we consider convergence rate problems for stochastic strongly-convex optimization in the non-Euclidean sense with a constraint set over a time-varying multi-agent network. We propose two efficient non-Euclidean stochastic subgradient descent algorithms based on the Bregman divergence as distance-measuring function rather than the Euclidean distances that were employed by the standard distributed stochastic projected subgradient algorithms. For distributed optimization of nonsmooth and strongly convex functions whose only stochastic subgradients are available, the first algorithm recovers the best previous known rate of O(ln(T)/T) (where T is the total number of iterations). The second algorithm is an epoch variant of the first algorithm that attains the optimal convergence rate of O(1/T), matching that of the best previously known centralized stochastic subgradient algorithm. Finally, we report some simulation results to illustrate the proposed algorithms.

研究の動機と目的

• 滑らかでない、強い凸関数と複雑な制約集合を扱う際、ユークリッドに基づく分散確率的部分勾配法の限界を克服すること。
• 非ユークリッド幾何学をブレグマン発散を用いて活用する分散最適化アルゴリズムの開発により、収束性と射影の効率性を向上させること。
• 滑らかでないおよび強い凸の目的関数に対して、分散確率的設定で最適な収束速度を達成すること。
• 特定の制約（例：単体）において計算的に非実行可能または非効率な場合があるユークリッド射影に依存しないこと。
• 分散型マルチエージェント環境において、集中型確率的部分勾配法の収束性能を同等または上回ること。

提案手法

• 標準的なユークリッド射影の代わりに、距離測定関数としてブレグマン発散を用いた分散確率的ミラー降下アルゴリズムを設計する。
• 強い凸関数 $\Phi$ の共役関数に基づくミラー降下更新則を採用し、効率的かつ実行可能な更新を保証する。
• エポックごとにステップサイズを再初期化するエポックベースのアルゴリズム変種を導入し、より速い収束速度を達成する。
• 時間変動ネットワークにおけるエージェント間の合意形成を保証する二重確率的重み行列を用い、収束性を行列ノルムの減衰により限定する。
• 一次最適性条件と $\Phi$ の強い凸性を用いて、反復点と平均意思決定ベクトルとの間の期待距離の上限を導出する。
• 有界な確率的部分勾配 ($\mathbb{E}[\nabla g_{i,t}] \leq G$) と $\sigma_\Phi$-強い凸性の $\Phi$ に関する仮定を用いて、収束保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 ブレグマン発散を用いたミラー降下は、滑らかでない強い凸関数の分散確率的最適化において、最適な収束速度を達成できるか？
• RQ2 ユークリッド射影をブレグマン発散に基づく更新に置き換えることで、単体のような複雑な制約集合において収束性能と実行可能性が向上するか？
• RQ3 エポックベースのミラー降下アルゴリズムは、分散環境において $O(1/T)$ の収束速度を達成できるか？これは集中型確率的部分勾配法の最良性能と一致する。
• RQ4 同じ仮定のもとで、提案アルゴリズムの収束速度は、既存の分散確率的射影部分勾配法と比較してどのように異なるか？
• RQ5 ネットワークの動的変化（時間変動するトポロジー）は、ミラー降下に基づく分散アルゴリズムの収束挙動にどのような影響を与えるか？

主な発見

• 提案された最初のアルゴリズムは、滑らかでない強い凸関数の分散確率的最適化において、最良既知の収束速度 $O(\left(\frac{\text{ln}(T)}{T}\right))$ を回復する。
• エポックベースのアルゴリズム変種は、最適な収束速度 $O(\left(\frac{1}{T}\right))$ を達成し、集中型確率的部分勾配法の最良既知の速度と一致する。
• ブレグマン発散の使用により、ユークリッド射影が困難または非実行可能な制約集合（例：単体）においても、効率的かつ実行可能な更新が可能になる。
• 理論的分析により、エージェント間の期待合意誤差が時間とともに指数的に減少することが確認され、重み行列の固有値特性に支配される。
• シミュレーション結果は、提案アルゴリズムが、特に非ユークリッド的制約下で、標準的な分散確率的射影部分勾配アルゴリズムよりも速く収束することを示している。
• 収束速度の向上は、ミラー降下の幾何構造とエポックベースのステップサイズスケジューリングの組み合わせによるものであり、収束の安定性と速度を向上させると考えられる。