[論文レビュー] Stochastic Recursive Variance-Reduced Cubic Regularization Methods.

Dongruo Zhou, Quanquan Gu|arXiv (Cornell University)|Jan 1, 2019

Stochastic Gradient Optimization Techniques被引用数 2

ひとこと要約

本稿では、非凸有限和最適化における $(\epsilon, \sqrt{\epsilon})$-近似局所最適解を求めるための勾配およびヘシアンの複雑さを改善する、確率的再帰的分散低減立方正則化手法であるSRVRCを提案する。さらに、ヘシアンを計算せず、確率的勾配とヘシアン・ベクトル積のみに依存するHessianフリーな変種、SRVRC$_{\text{free}}$を導入し、$\tilde{O}(dn\epsilon^{-2} \land d\epsilon^{-3})$の実行時間複雑度を達成した。これは、Tripuraneniら（2018）の先行研究を上回る性能を発揮する。

ABSTRACT

Stochastic Variance-Reduced Cubic regularization (SVRC) algorithms have received increasing attention due to its improved gradient/Hessian complexities (i.e., number of queries to stochastic gradient/Hessian oracles) to find local minima for nonconvex finite-sum optimization. However, it is unclear whether existing SVRC algorithms can be further improved. Moreover, the semi-stochastic Hessian estimator adopted in existing SVRC algorithms prevents the use of Hessian-vector product-based fast cubic subproblem solvers, which makes SVRC algorithms computationally intractable for high-dimensional problems. In this paper, we first present a Stochastic Recursive Variance-Reduced Cubic regularization method (SRVRC) using a recursively updated semi-stochastic gradient and Hessian estimators. It enjoys improved gradient and Hessian complexities to find an $(\epsilon, \sqrt{\epsilon})$-approximate local minimum, and outperforms the state-of-the-art SVRC algorithms. Built upon SRVRC, we further propose a Hessian-free SRVRC algorithm, namely SRVRC$_{ ext{free}}$, which only requires stochastic gradient and Hessian-vector product computations, and achieves $ ilde O(dn\epsilon^{-2} \land d\epsilon^{-3})$ runtime complexity, where $n$ is the number of component functions in the finite-sum structure, $d$ is the problem dimension, and $\epsilon$ is the optimization precision. This outperforms the best-known runtime complexity $ ilde O(d\epsilon^{-3.5})$ achieved by stochastic cubic regularization algorithm proposed in Tripuraneni et al. 2018.

研究の動機と目的

• 既存の確率的分散低減立方正則化（SVRC）アルゴリズムの計算効率およびスケーラビリティの限界を是正すること。
• 従来のSVRC手法における半確率的ヘシアン推定による高次元問題の計算不能性を克服すること。
• 勾配およびヘシアンの再帰的推定戦略を設計し、オракル複雑度を低減し、収束速度を向上させること。
• 高次元における実用性を高めるために、確率的勾配とヘシアン・ベクトル積のみに依存するHessianフリーな変種を設計すること。
• Tripuraneniら（2018）の最高水準の$\tilde{O}(d\epsilon^{-3.5})$結果を上回る、改善された実行時間複雑度を達成すること。

提案手法

• 再帰的に更新される半確率的勾配およびヘシアン推定器を用いた、確率的再帰的分散低減立方正則化手法であるSRVRCを提案する。
• 再帰的更新を用いることで、勾配およびヘシアン推定の分散を低減し、非凸有限和問題における収束特性を改善する。
• 完全なヘシアン行列の計算をヘシアン・ベクトル積操作に置き換えるHessianフリーな変種、SRVRC$_{\text{free}}$を導入する。
• 完全なヘシアン行列を必要としないため、高速な立方体部分問題ソルバーを活用でき、高次元問題へのスケーラビリティを実現する。
• $(\epsilon, \sqrt{\epsilon})$-近似局所最適解への収束を保証しながら、勾配およびヘシアンのオラクル複雑度を低く保つようにアルゴリズムを設計する。
• 再帰的分散低減とヘシアン・ベクトル積へのアクセスを組み合わせることで、$\tilde{O}(dn\epsilon^{-2} \land d\epsilon^{-3})$の実行時間複雑度を達成する。

実験結果

リサーチクエスチョン

• RQ1 既存のSVRCアルゴリズムは、勾配およびヘシアンのオラクル複雑度においてさらなる改善が可能か？
• RQ2 半確率的ヘシアン推定の使用を回避することで、立方正則化手法におけるヘシアン・ベクトル積ベースの高速ソルバーが可能になるか？
• RQ3 確率的勾配とヘシアン・ベクトル積のみが利用可能な状況で、非凸有限和最適化の達成可能な実行時間複雑度は何か？
• RQ4 再帰的分散低減技術は、立方正則化フレームワークに効果的に拡張可能か？ これにより収束速度が向上するか？
• RQ5 提案されたHessianフリー手法は、複雑さおよび実用的スケーラビリティの観点から、最先端手法と比較してどのように差をつけるか？

主な発見

• SRVRCは、$(\epsilon, \sqrt{\epsilon})$-近似局所最適解を求めるために、既存のSVRCアルゴリズムに比べて勾配およびヘシアンの複雑さを改善した。
• 提案されたSRVRC$_{\text{free}}$アルゴリズムは、$\tilde{O}(dn\epsilon^{-2} \land d\epsilon^{-3})$の実行時間複雑度を達成し、Tripuraneniら（2018）の最高水準の$\tilde{O}(d\epsilon^{-3.5})$複雑度を上回る。
• 完全なヘシアン計算をヘシアン・ベクトル積に置き換えることで、高次元設定において効率的かつスケーラブルな最適化が可能になった。
• 勾配およびヘシアンの再帰的推定により、分散が効果的に低減され、高価なヘシアン行列の保存を必要とせずに、高速な収束が達成された。
• $(\epsilon, \sqrt{\epsilon})$-近似局所最適解への収束に関する理論的保証を維持しながら、計算効率を著しく向上させた。
• Hessianフリーな変種は、確率的立方正則化において、完全なヘシアン計算が必須でないことを示した。