[論文レビュー] Accelerated, Optimal, and Parallel: Some Results on Model-Based Stochastic Optimization

Karan N. Chadha, Gary Cheng+1 more|arXiv (Cornell University)|Jan 7, 2021

Stochastic Gradient Optimization Techniques参考文献 45被引用数 5

ひとこと要約

本稿では、ミニバッチサイズに線形スケールアップする線形速度で、順序的に最適な収束レートを達成する、加速され、最適であり、並列処理可能なモデルベースの確率的最適化手法を紹介する。aProxフレームワークをミニバッチ処理と加速に拡張することで、非漸近的保証を提供し、補間問題のための新しい基本定数を確立し、標準的な確率的勾配法と比較して、より優れたロバスト性とスケーラビリティを示している。

ABSTRACT

We extend the Approximate-Proximal Point (aProx) family of model-based methods for solving stochastic convex optimization problems, including stochastic subgradient, proximal point, and bundle methods, to the minibatch and accelerated setting. To do so, we propose specific model-based algorithms and an acceleration scheme for which we provide non-asymptotic convergence guarantees, which are order-optimal in all problem-dependent constants and provide linear speedup in minibatch size, while maintaining the desirable robustness traits (e.g. to stepsize) of the aProx family. Additionally, we show improved convergence rates and matching lower bounds identifying new fundamental constants for "interpolation" problems, whose importance in statistical machine learning is growing; this, for example, gives a parallelization strategy for alternating projections. We corroborate our theoretical results with empirical testing to demonstrate the gains accurate modeling, acceleration, and minibatching provide.

研究の動機と目的

• 既存のaProx手法の逐次的性質を克服する、並列処理可能でミニバッチに適応したモデルベース最適化手法の開発。
• 勾配推定の分散に依存する非漸近的収束保証の提供により、ミニバッチサイズに比例した線形スケールアップを実現する。
• 補間問題における新しい基本問題定数の特定と分析。現代の機械学習においてますます重要になっている分野である。
• 最適な収束レートとハイパーパramータチューニングへのロバスト性を備えた、aProx手法の加速版の設計。
• 包括的な実験を通じて、理論的利点であるロバスト性、加速、モデル精度の向上を実証的に検証する。

提案手法

• 目的関数 $ F(x; s) $ のモデルを用いて、aProxフレームワークをミニバッチ設定に拡張し、凸性および局所的精度条件を満たす。
• Nesterovスタイルのモーメンタムに基づく新しい加速スキームを提案。$ x_k, y_k, z_k $ の三ポイント更新ルールと、ステップサイズパラメータ $ \theta_k, \alpha_k, \eta_k $ の系列を用いる。
• Fenchel-Youngの不等式とBregman発散 $ D_h $ の強凸性を用いて、1ステップの進捗バウンドを導出し、再帰的誤差バウンドを導出する。
• モデル誤差と確率的誤差を扱うために、新たな誤差分解 $ \zeta_k = e_k + \langle \xi_k, z_k - y_k \rangle + \frac{\|\xi_k\|_*^2 - \sigma_0^2}{2\alpha_k} $ を導入する。
• 誤差バウンドの再帰的合計を用い、Bregman発散のテレスコピック和を適用することで、収束レートを導出する。
• 最適な収束を達成するために、$ \theta_k = \frac{2}{k+2} $, $ \eta_k = \eta_0 \frac{2\sqrt{k}}{k+2} $, および $ \alpha_k = \frac{1}{L\theta_k + \eta_k} $ の特定の選択を行う。

実験結果

リサーチクエスチョン

• RQ1 aProxファミリーのモデルベース手法を、収束保証とロバスト性を維持したまま、ミニバッチ処理に対応できるように拡張できるか？
• RQ2 分散依存の誤差バウンド下でのモデルベース確率的最適化の最適収束レートは何か？
• RQ3 加速はモデルベース手法の収束にどのように影響し、順序的に最適な収束にできるか？
• RQ4 補間問題における収束の難易度を支配する新しい基本定数は何であり、並列処理効率にどのように影響するか？
• RQ5 モデル精度の向上とミニバッチ処理の組み合わせにより、実用的なロバスト性と速度の向上が達成できるか？

主な発見

• 提案手法はミニバッチサイズに線形スケールアップを達成し、収束レートを $ 1/\sqrt{k} $ から $ 1/\sqrt{km} $ に低下させ、標準的勾配法と一致する。
• 加速されたaProxバージョンは、適切なパrameter選択のもとで、順序的に最適な収束レートを達成し、$ \mathbb{E}[f(x_k)+r(x_k)-f(x^*)-r(x^*)] \leq \mathcal{O}(1/k^2) $ を満たす。
• 補間問題において、収束の難易度に根本的に関与する新たな成長条件を同定し、このクラスに対する一致する下界を提供する。
• ステップサイズ選択およびノイズに対するロバスト性が向上し、実験的評価では標準的確率的勾配法を上回る性能を示す。
• 理論的分析により、誤差バウンドが $ \mathcal{O}(1/\sqrt{k}) $ にスケーリングされ、加速スキームが $ \mathcal{O}(1/k^2) $ の収束を達成することが確認された。
• 実験的結果は、正確なモデリングとミニバッチ処理が、特に悪条件またはノイズの高い設定において、収束速度と安定性を顕著に向上させることを示している。