[論文レビュー] On Stochastic Subgradient Mirror-Descent Algorithm with Weighted Averaging

Angelia Nedich, Soomin Lee|arXiv (Cornell University)|Jul 7, 2013

Stochastic Gradient Optimization Techniques参考文献 19被引用数 4

ひとこと要約

本稿では、重み付き反復平均化を用いた確率的部分勾配ミラー降下法を提案し、従来の手法よりも単純な更新ルールで、強い凸関数に対しては最適な収束速度 $1/k$、一般の凸関数に対しては $1/\sqrt{k}$ を達成する。主な革新点は、ツェンの加速フレームワークにインspiredされたステップサイズおよび重み選択であり、$1/\sqrt{k+1}$ のような非summableステップサイズを用いても、ほとんど確実な部分列収束を実現できる。これは文献において初めての結果である。

ABSTRACT

This paper considers stochastic subgradient mirror-descent method for solving constrained convex minimization problems. In particular, a stochastic subgradient mirror-descent method with weighted iterate-averaging is investigated and its per-iterate convergence rate is analyzed. The novel part of the approach is in the choice of weights that are used to construct the averages. Through the use of these weighted averages, we show that the known optimal rates can be obtained with simpler algorithms than those currently existing in the literature. Specifically, by suitably choosing the stepsize values, one can obtain the rate of the order $1/k$ for strongly convex functions, and the rate $1/\sqrt{k}$ for general convex functions (not necessarily differentiable). Furthermore, for the latter case, it is shown that a stochastic subgradient mirror-descent with iterate averaging converges (along a subsequence) to an optimal solution, almost surely, even with the stepsize of the form $1/\sqrt{1+k}$, which was not previously known. The stepsize choices that achieve the best rates are those proposed by Paul Tseng for acceleration of proximal gradient methods.

研究の動機と目的

• 凸および強い凸問題に対して最適な収束速度を達成する、より単純な確率的部分勾配ミラー降下法の開発。
• 特に $\alpha_k = 1/\sqrt{k+1}$ のような非summableステップサイズのもとで、平均化反復のほとんど確実な部分列収束の確立。これは以前まで未知であった。
• ツェンとネステロフのインスピレーションを受ける新しいリャプノフ関数とステップサイズ重み戦略を用いて、既存の加速手法を統一的かつ簡素化すること。
• シミュレーションを通じて、AC-SA やネステロフのPD法といった既存の加速アルゴリズムと同等またはそれ以上の性能を示すこと。

提案手法

• 凸制約集合へのBregman距離に基づく射影を用いた確率的部分勾配ミラー降下更新。
• ステップサイズ系列に由来する重みを用いた反復の重み付き平均化を適用し、特に $\alpha_k = 1/\sqrt{k+1}$ または $\alpha_k = 1/k$ の場合に適応。
• ミラー降下の進行具合と平均化ダイナミクスを統合する新しいリャプノフ関数を導入。
• ツェンの加速フレームワークにインspiredされたステップサイズルールを採用し、複雑な三系列構成を必要とせず、最適な収束速度を達成することを示した。
• コン pact 制約集合を有する強い凸関数および一般の凸関数の両方に適用可能な統一的解析により収束速度を導出。
• 最終出力として、重み $w_i$ がステップサイズ系列に比例する $\hat{x}_k = \sum_{i=1}^k w_i x_i / \sum_{i=1}^k w_i$ の平均化反復を用いる。

実験結果

リサーチクエスチョン

• RQ1 複雑な三系列更新を必要とせず、強い凸関数に対して最適な $1/k$ 収束速度を達成できる、より単純な確率的ミラー降下法は構築可能か？
• RQ2 非summableステップサイズ $1/\sqrt{k+1}$ を用いた重み付き平均化は、最適解へのほとんど確実な部分列収束を保証するか？
• RQ3 提案手法は、AC-SA やネステロフのPD法といった既存の加速確率的部分勾配法と同等またはそれ以上の性能を示せるか？
• RQ4 リャプノフ関数は、強い凸関数および一般の凸関数の両ケースを統一的に取り扱う収束解析を可能にする上で果たす役割は何か？

主な発見

• 提案手法は、GhadimiとLan [9] や Juditsky ら [10] のような従来の加速手法よりも単純な更新ルールで、強い凸関数に対して最適な $1/k$ 収束速度を達成する。
• コンpact制約集合を有する一般の凸関数に対しては、ステップサイズ $\alpha_k = 1/\sqrt{k+1}$ を用いて、既存で最も良い $1/\sqrt{k}$ の収束速度を達成する。
• 本稿では、非summableステップサイズ $\alpha_k = 1/\sqrt{k+1}$ を用いた確率的ミラー降下法について、初めてのほとんど確実な部分列収束結果を確立した。これは理論的進展として顕著である。
• シミュレーションの結果、AC-SA やネステロフのPD法と同等の性能を示し、一部の例では初期段階でわずかに優れた性能を示す。
• ステップサイズに由来する重み付き平均化スキームにより、追加のメモリや複雑な系列追跡を必要とせず、最適な収束速度を達成可能である。
• 新しいリャプノフ関数の使用により、収束解析が簡素化され、強い凸関数および一般の凸関数の両ケースを統一的に取り扱えるようになった。