[論文レビュー] Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization

Tomoya Murata, Taiji Suzuki|arXiv (Cornell University)|Mar 1, 2017

Stochastic Gradient Optimization Techniques参考文献 22被引用数 14

ひとこと要約

本稿では、ミニバッチ設定における正則化された経験的リスク最小化のための、二重に加速された確率的分散低減デュアルアベーリージング（DASVRDA）手法を提案する。二重加速と分散低減を組み合わせることで、非強凸的および強凸的目標関数の両方において、反復計算の複雑さが最適化され、ミニバッチサイズが僅か $\sqrt{n}$ で十分である。これは、先行する加速手法に比べてミニバッチ効率が顕著に向上している。

ABSTRACT

In this paper, we develop a new accelerated stochastic gradient method for efficiently solving the convex regularized empirical risk minimization problem in mini-batch settings. The use of mini-batches is becoming a golden standard in the machine learning community, because mini-batch settings stabilize the gradient estimate and can easily make good use of parallel computing. The core of our proposed method is the incorporation of our new "double acceleration" technique and variance reduction technique. We theoretically analyze our proposed method and show that our method much improves the mini-batch efficiencies of previous accelerated stochastic methods, and essentially only needs size $\sqrt{n}$ mini-batches for achieving the optimal iteration complexities for both non-strongly and strongly convex objectives, where $n$ is the training set size. Further, we show that even in non-mini-batch settings, our method achieves the best known convergence rate for both non-strongly and strongly convex objectives.

研究の動機と目的

• 既存の加速された確率的手法がミニバッチ設定で非効率である問題に取り組み、バッチサイズの増加に伴う性能向上が不十分であることを解消する。
• 分散低減された確率的手法における、加速とミニバッチ利用のトレードオフを克服する。
• 反復計算の複雑さが最適化され、特に大規模機械学習問題において最小限のミニバッチサイズで実現できる手法を開発する。
• 非ミニバッチおよびミニバッチの両設定において、非強凸的および強凸的目標関数の両方で、既存で最高の収束速度を達成する。
• 理論的分析により、合計計算コストおよびミニバッチサイズ要件の観点から、本手法が最適であることを確立することを目的とする。

提案手法

• 二重加速を統合した、新たなデュアルアベーリージングフレームワークを提案し、モーメンタムと分散低減技術を統合する。
• 確率的分散低減デュアルアベーリージング（SVRDA）手法に二重加速スキームを適用し、収束速度を向上させつつ安定性を損なわないようにする。
• 最終解の重み付き平均化戦略を採用し、重みはモーメンタムパラメータから導出することで、局所的な強凸性を活用する。
• 制御変数を用いて分散を低減するミニバッチ確率的勾配推定器を採用する。
• 補助変数 $ z_k $ のための新規な更新ルールを導入し、プロキシマルステップとモーメンタムステップを組み合わせることで、凸および強凸設定の両方で収束を保証する。
• 理論的分析は、リャプノフ関数と再帰不等式に依拠し、期待される最適性ギャップをバインドすることで、収束速度の向上を導く。

実験結果

リサーチクエスチョン

• RQ1 二重加速をミニバッチ設定で分散低減と効果的に組み合わせ、最適な反復計算複雑さを達成できるか？
• RQ2 加速された確率的手法が最適な収束速度を達成するための最小ミニバッチサイズは何か？
• RQ3 Katyusha, ASDCA, APCG といった既存の加速手法と比較して、本手法のミニバッチ効率はどのように異なるか？
• RQ4 非ミニバッチ設定でも本手法は最適な収束速度を維持するのか？また、問題の条件数にどのように依存するか？
• RQ5 グローバルな強凸性仮定に依存せずに、局所的な強凸性を活用できるか？

主な発見

• 提案されたDASVRDA手法は、非強凸的および強凸的目標関数の両方において、最適な反復計算複雑さを達成し、最適な性能を発揮するためのミニバッチサイズが僅か $\sqrt{n}$ で十分である。
• ミニバッチ設定において、従来の加速手法からミニバッチサイズを $ O(n) $ から $ O(\sqrt{n}) $ に削減することで、並列処理の効率が顕著に向上している。
• 強凸的目標関数の場合、合計計算コストは $ O\left(d\left(n + \frac{bL}{\mu}\right)\mathrm{log}(1/\varepsilon)\right) $ となり、既存で最高のレートと一致する。
• 非ミニバッチ設定では、非強凸的および強凸的目標関数の両方で、既存で最高の収束速度を達成し、標準的なSVRGやSGDを上回っている。
• 条件数に強く依存しない：AccProxSVRGとは異なり、$ \kappa $ が増加してもミニバッチサイズを増やす必要がなく、$ \kappa $ にかかわらず $ O(\sqrt{n}) $ のまま維持される。
• 理論的分析により、反復計算複雑さおよび計算コストの観点から、本手法が最適であることが確認され、収束レートに余分な対数因子が付加されていない。