[論文レビュー] Stochastic Approximation of Smooth and Strongly Convex Functions: Beyond the $O(1/T)$ Convergence Rate

Lijun Zhang, Zhi‐Hua Zhou|arXiv (Cornell University)|Jan 27, 2019

Risk and Portfolio Optimization被引用数 12

ひとこと要約

本稿では、滑らかさと強い凸性を併用することで、標準的な $O(1/T)$ の収束速度を上回る、高速な収束を達成する新しい確率的近似アルゴリズム FASA を提案する。エポック単位の勾配降下と適応的ステップサイズを用いることで、$O(1/(\rho T^\beta) + \rho F_*/T)$ のリスクバウンドと指数的 $O(1/2^{T/\rho} + F_*)$ の収束速度を達成し、$F_* = 0$ の場合には線形収束を達成する。この手法は弱い仮定のもとで構成的かつ理論的に有効である。

ABSTRACT

Stochastic approximation (SA) is a classical approach for stochastic convex optimization. Previous studies have demonstrated that the convergence rate of SA can be improved by introducing either smoothness or strong convexity condition. In this paper, we make use of smoothness and strong convexity simultaneously to boost the convergence rate. Let $\\lambda$ be the modulus of strong convexity, $\\kappa$ be the condition number, $F_*$ be the minimal risk, and $\\alpha>1$ be some small constant. First, we demonstrate that, in expectation, an $O(1/[\\lambda T^\\alpha] + \\kappa F_*/T)$ risk bound is attainable when $T = \\Omega(\\kappa^\\alpha)$. Thus, when $F_*$ is small, the convergence rate could be faster than $O(1/[\\lambda T])$ and approaches $O(1/[\\lambda T^\\alpha])$ in the ideal case. Second, to further benefit from small risk, we show that, in expectation, an $O(1/2^{T/\\kappa}+F_*)$ risk bound is achievable. Thus, the excess risk reduces exponentially until reaching $O(F_*)$, and if $F_*=0$, we obtain a global linear convergence. Finally, we emphasize that our proof is constructive and each risk bound is equipped with an efficient stochastic algorithm attaining that bound.

研究の動機と目的

• 標準的な確率的近似（SA）の収束速度が、滑らかさと強い凸性が成り立っても通常 $O(1/T)$ に留まることの制限を是正する。
• 強い仮定に依存する、有限和問題に限定される、または非制約領域に限定される既存の SA 手法のギャップを克服する。
• 滑らかさと強い凸性を同時に活用することで、最小リスク $F_*$ が小さい場合に高速な収束を達成する構成的アルゴリズムを開発する。
• $O(1/T)$ よりも優れたリスクバウンドを確立し、$F_*$ に応じて $O(1/(\rho T^\beta))$ または指数的減衰に近づく。

提案手法

• 初期解とステップサイズを巧みに設計したエポック勾配降下（Epoch-GD）に基づく高速な確率的近似アルゴリズム FASA を提案する。
• 二段階戦略を導入：第一に、$O(1/(\rho T^\beta) + \rho F_*/T)$ のリスクバウンドを達成するための可変ステップサイズスケジュールを採用し、第二に、固定ステップサイズにより指数的収束を実現する。
• 強い凸性と滑らかさを条件数 $\rho$ を通じて活用することで、補題 1 を用いた再帰的リスクバウンドによりエポック間での期待超過リスクを制御する。
• ステップサイズスケジュールにおいて $\beta = 2$ を設定することでリスクバウンドの幾何的減衰を実現し、$O(F_*)$ への指数的収束を可能にする。
• 条件数 $\rho$、強い凸性のモジュラス $\rho$、最小リスク $F_*$ を含む不等式を用いて理論的バウンドを導出する。期待値における収束を保証する。
• エポック数に関する帰納法を用いた証明により、各エポックごとに期待リスクが $1/2^k$ に減少することを示し、指数的収束に至ることを示す。

実験結果

リサーチクエスチョン

• RQ1 滑らかさと強い凸性が成り立つ状況で、確率的近似の収束速度を $O(1/T)$ よりも向上させることは可能か？
• RQ2 最小リスク $F_*$ が、滑らかさと強い凸性のもとでの確率的近似の達成可能な収束速度にどのように影響を与えるか？
• RQ3 $O(F_*)$ の超過リスクへの指数的収束を達成する構成的アルゴリズムを設計することは可能か？ それにより多項式的減衰ではなく、より高速な収束が達成できるか？
• RQ4 滑らかさと強い凸性が成り立つ状況で、$O(1/T)$ よりも高速な収束を達成するためには、どのステップサイズと初期化戦略が必要か？
• RQ5 $F_* = 0$ の場合に、これらの条件下で確率的アルゴリズムにより線形収束を達成することは可能か？

主な発見

• $T = \tilde{\theta}(\rho^\beta)$ のとき、$\beta > 1$ であれば、期待値において $O(1/(\rho T^\beta) + \rho F_*/T)$ のリスクバウンドが達成可能であり、$F_*$ が小さい場合に $O(1/(\rho T))$ よりも優れる。
• $F_* = O(1/T^{\beta-1})$ のとき、収束速度は $O(1/(\rho T^\beta))$ に近づき、これは $O(1/(\rho T))$ よりも高速である。
• 固定ステップサイズを用いたエポック-GDにおいて、指数的 $O(1/2^{T/\rho} + F_*)$ のリスクバウンドが達成され、超過リスクは幾何的に減少し、$O(F_*)$ にまで到達する。
• $F_* = 0$ の場合、アルゴリズムはグローバルな線形収束を達成し、超過リスクが $O(1/2^{T/\rho})$ に減少する。
• 提案されたアルゴリズム FASA は構成的かつ効率的であり、各リスクバウンドが直接的に動作する確率的アルゴリズムに関連している。
• 理論的バウンドは期待値において成り立つ。高確率バウンドは集中不等式を用いることで可能だが、$O(1/T)$ の信頼性項が生じ、収束速度の向上が制限される。