[論文レビュー] Improved Optimization of Finite Sums with Minibatch Stochastic Variance Reduced Proximal Iterations

Jialei Wang, Tong Zhang|arXiv (Cornell University)|Jun 21, 2017

Stochastic Gradient Optimization Techniques参考文献 45被引用数 7

ひとこと要約

本稿では、有限和の経験的リスク最小化における収束を加速するために、分散低減型1次勾配と部分サンプルされたヘッセ行列近似を組み合わせた、新しいミニバッチ確率的最適化手法を提案する。ミニバッチを用いて確率的分散低減と近似された2次情報（ヘッセ行列）を統合することで、強い凸性と滑らかさの下で理論的下界に一致する改善された反復複雑度を達成し、SVRG や Catalyst 加速アルゴリズムといった最先端手法よりも高速な収束と優れた実験的性能を示す。

ABSTRACT

We present novel minibatch stochastic optimization methods for empirical risk minimization problems, the methods efficiently leverage variance reduced first-order and sub-sampled higher-order information to accelerate the convergence speed. For quadratic objectives, we prove improved iteration complexity over state-of-the-art under reasonable assumptions. We also provide empirical evidence of the advantages of our method compared to existing approaches in the literature.

研究の動機と目的

• 機械学習で一般的な大規模データセットを対象とした有限和問題のためのより高速な最適化アルゴリズムを開発すること。
• ミニバッチ設定下で分散低減と部分サンプルされた2次情報の組み合わせにより収束速度を向上させること。
• 強い凸性と滑らかさの下で、1次オракルおよびプロキシマールオーキュール手法の理論的下界に一致する改善された反復複雑度を達成すること。
• SVRG や SDCA、Catalyst 加速アルゴリズムといった既存手法との比較を通じて、本手法の優位性を実験的に検証すること。

提案手法

• 1次勾配と部分サンプルされたヘッセ行列情報の両方を活用するミニバッチ確率的分散低減型プロキシマール反復を導入する。
• 反復誤差の分散を低減し収束を改善するために、モーメンタムに類似した項を有する再帰的更新スキームを用いる。
• データのミニバッチを用いてヘッセ行列の近似を実行することで、完全なヘッセ行列の計算を避けて曲率情報を近似する。
• 勾配とヘッセ行列の寄与をバランスさせるために、適切に選ばれたステップサイズ η を用いたプロキシマール型更新を適用する。
• 部分最適性を追跡し、行列ベルンシュタイン不等式と再帰的解析を用いて収束境界を導出するために、Lyapunov 関数 δt を用いる。
• 収束レートの改善を導出するために、分析段階で Catalyst スタイルの加速を適用し、特に条件数が高い状況下での性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 分散低減型確率的勾配と部分サンプルされたヘッセ行列近似を組み合わせることで、有限和最適化における収束速度の向上が達成できるか？
• RQ2 提案手法が、1次オーキュールおよびプロキシマールオーキュール手法の理論的反復複雑度下界に一致するか？
• RQ3 ミニバッチサイズがアルゴリズムの収束速度と計算効率に与える影響は何か？
• RQ4 実際の応用において、SVRG や Catalyst 加速手法よりも本手法が優れた性能を示せるか？
• RQ5 ヘッセ行列近似の品質とサンプリング戦略が収束の安定性と速度に与える影響は何か？

主な発見

• 強い凸性と滑らかさの下で、提案手法は理論的下界に一致する改善された反復複雑度 O((n + √(nL/λ)) log(1/ϵ)) を達成する。この下界は Woodworth と Srebro (2016) によって確立されている。
• 条件数 √(L/λ) に依存する線形収束レートを示し、特に条件数が高い状況下では標準的な SVRG よりも優れた性能を示す。
• 実験結果では、ロジスティック回帰およびリッジ回帰のタスクにおいて、SVRG や SDCA、Catalyst 加速手法と比較して、収束が早く、目的関数の部分最適性も低いことが確認された。
• 適切なパrameter設定のもとで、期待される目的関数の部分最適性が O(1/√(λη) log(36)) 回の反復で半減することが示され、指数的収束が確認された。
• 理論的解析により、本手法の収束レートは1次オーキュールおよびプロキシマールオーキュールモデル下で改善不能であることが確認され、最適性が確立された。
• 完全なヘッセ行列計算の高コストを回避しつつ、ミニバッチによるヘッセ行列近似を用いることで、反復あたりのコストを低く抑え、高速な収束を維持した。