[論文レビュー] SGD with shuffling: optimal rates without component convexity and large epoch requirements

Kwangjun Ahn, Chulhee Yun+1 more|arXiv (Cornell University)|Jun 12, 2020

Stochastic Gradient Optimization Techniques参考文献 12被引用数 11

ひとこと要約

本稿は、個々の成分関数の凸性を仮定せず、特にRandomShuffleおよびSingleShuffleを含む、置換なしSGDの最小最大最適収束速度を確立する。従来の研究で一般的に見られる大規模なエポック要件を排除し、成分関数の凸性に依存しないことで、収束境界をタイトに保ち、特に強い凸性および勾配優位な設定下で最適な収束速度（多項式対数要因を除いて）を達成する。

ABSTRACT

We study without-replacement SGD for solving finite-sum optimization problems. Specifically, depending on how the indices of the finite-sum are shuffled, we consider the RandomShuffle (shuffle at the beginning of each epoch) and SingleShuffle (shuffle only once) algorithms. First, we establish minimax optimal convergence rates of these algorithms up to poly-log factors. Notably, our analysis is general enough to cover gradient dominated nonconvex costs, and does not rely on the convexity of individual component functions unlike existing optimal convergence results. Secondly, assuming convexity of the individual components, we further sharpen the tight convergence results for RandomShuffle by removing the drawbacks common to all prior arts: large number of epochs required for the results to hold, and extra poly-log factor gaps to the lower bound.

研究の動機と目的

• 置換なしSGD、特に広く実用に用いられるRandomShuffleおよびSingleShuffleの収束解析における理論的ギャップを埋めること。
• 個々の成分関数 $f_i$ の凸性を仮定しないで、これらの置換ベースSGD変種の最小最大最適収束速度を導出すること。
• 従来の解析で見られる大規模エポック要件（$K \gtrsim \kappa^\alpha$）を排除し、$K \geq 1$ に対してタイトな境界が成り立つようにすること。
• 凸成分関数下でのRandomShuffleの収束結果を、余分な多項式対数要因および有界反復仮定を排除することで強化すること。
• 強い凸および二次的目的関数下でのSingleShuffleに対して、既知の下界と一致するタイトな収束境界を確立すること。

提案手法

• 置換ベースSGDにおける誤差伝播を制御するため、再帰的不等式と積の上限を用いた新規な解析フレームワークを提案する。
• 調和的和の性質と指数的減衰を活用して、期待される非最適性の上界を再帰的バウンディング技術により導出する。
• 誤差項の進化を制御するため、列 $a_j$ および $b_j$ の積推定を適用し、対数因子を丁寧に取り扱う。
• 置換サンプリングの依存構造を精密に分析し、i.i.d. 仮定を避け、順序付き非復元抽出を適切に反映する。
• 積分の逆関数近似（命題20を用いて）により、$k_0 + nk$ の累乗を含む和をバウンディングし、漸近的制御を厳密に実現する。
• Rajputら[17]およびSafranとShamir[20]による既知の下界と一致させることで、多項式対数要因を除いて最適な境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 個々の成分関数の凸性を仮定せず、RandomShuffleおよびSingleShuffle SGDの最適収束速度を確立できるか？
• RQ2 従来の研究に見られる大規模エポック要件（$K \gtrsim \kappa^\alpha$）を排除し、$K \geq 1$ に対してもタイトな境界を得られるか？
• RQ3 強い凸目的関数下でのRandomShuffleの収束速度を、既知の下界と比較して余分な多項式対数要因を排除できるか？
• RQ4 Strongly convexおよび二次的設定下でのSingleShuffleの解析が、既知の下界と一致するタイトな収束速度を達成できるか？
• RQ5 凸成分関数下でのRandomShuffleの収束解析において、有界反復仮定（A1）を排除できるか？

主な発見

• 本稿は、個々の成分関数 $f_i$ の凸性を仮定せずとも、RandomShuffleおよびSingleShuffle SGDの最小最大最適収束速度を多項式対数要因を除いて確立する。
• 強い凸目的関数および滑らかな成分関数下でのRandomShuffleにおいて、$K \geq 1$ で $O\left(\frac{1}{nK^2}\right)$ の収束速度を達成し、$K \gtrsim \kappa^2$ や $K \gtrsim \kappa$ の要件を不要にする。
• RandomShuffleの最もタイトな境界において、有界反復仮定（A1）を排除した解析を実現し、従来の研究で必要とされた条件を緩和する。
• 強い凸二次的目的関数下でのSingleShuffleにおいて、$O\left(\frac{1}{(nK)^2} + \frac{1}{nK^3}\right)$ の収束速度を達成し、定数倍を除いて既知の下界 $\Omega\left(\frac{1}{(nK)^2} + \frac{1}{nK^3}\right)$ と一致する。
• 勾配優位な非凸関数に対しても結果が成立し、凸または強い凸設定を超えて有効であり、多項式対数要因を除いて最適である。
• 非復元抽出の依存構造を的確に扱うため、タイトな再帰的バウンディングと積推定を導出し、より厳密な収束制御を可能にする解析フレームワークを成功裏に構築した。