[論文レビュー] Adaptive Stochastic Variance Reduction for Subsampled Newton Method with Cubic Regularization

Junyu Zhang, Lin Xiao+1 more|arXiv (Cornell University)|Nov 28, 2018

Sparse and Compressive Sensing Techniques被引用数 8

ひとこと要約

本稿では、部分サンプル化された立方体正則化ニュートン法における適応的確率的分散低減スキームを提案し、$(\epsilon, \sqrt{\epsilon})$-近似局所解を求める際のヘッセ行列のサンプル複雑度を $\mathcal{O}(N + N^{2/3}\epsilon^{-3/2})$ に著しく低減する。この方法は、確率的行列平均の3次および4次モーメントの境界を導出し、行列濃縮不等式に依存しないことで実現される。

ABSTRACT

The cubic regularized Newton method of Nesterov and Polyak has become increasingly popular for non-convex optimization because of its capability of finding an approximate local solution with second-order guarantee. Several recent works extended this method to the setting of minimizing the average of N smooth functions by replacing the exact gradients and Hessians with subsampled approximations. It has been shown that the total Hessian sample complexity can be reduced to be sublinear in N per iteration by leveraging stochastic variance reduction techniques. We present an adaptive variance reduction scheme for subsampled Newton method with cubic regularization, and show that the expected Hessian sample complexity is O(N + N^{2/3}ε^{-3/2}) for finding an (ε,ε^{1/2})-approximate local solution (in terms of first and second-order guarantees respectively). Moreover, we show that the same Hessian sample complexity retains with fixed sample sizes if exact gradients are used. The techniques of our analysis are different from previous works in that we do not rely on high probability bounds based on matrix concentration inequalities. Instead, we derive and utilize bounds on the 3rd and 4th order moments of the average of random matrices, which are of independent interest on their own.

研究の動機と目的

• 非凸有限和問題における部分サンプル化された立方体正則化ニュートン法のヘッセ行列のサンプル複雑度を低減すること。
• 局所的曲率推定に基づいてバッチサイズを動的に調整する適応的分散低減技術を開発すること。
• 高い確率における行列濃縮境界に依存せずに、改善されたサンプル複雑度を達成すること。
• 高次モーメントの分析を通じて、弱い仮定のもとで収束保証を確立すること。
• 正確な勾配が使用される場合に、固定のサンプルサイズでも同じ複雑度を維持できるかどうかを示すこと。

提案手法

• 立方体正則化ニュートン法におけるヘッセ行列近似のための適応的部分サンプリング戦略を導入し、ニュートンステップのノルムに応じてバッチサイズを調整する。
• 行列濃縮不等式に依存せずに分散を制御するため、同分布の確率的行列平均の3次および4次モーメントの境界を導出する。
• ニュートンステップを適応的サンプリングを用いた部分サンプル化された勾配およびヘッセ行列で計算する、修正された部分問題定式化を採用する。
• 反復ごとに勾配およびヘッセ行列近似の期待誤差を追跡する再帰的解析フレームワークを用いる。
• 期待誤差がニュートンステップノルムの3乗に従って減少することを示すことで収束を確立する。
• 反復ごとの合計ヘッセ行列のサンプル複雑度を、モーメント境界を活用して合算することで、最終的な複雑度境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 適応的分散低減技術は、部分サンプル化された立方体正則化ニュートン法のヘッセ行列のサンプル複雑度を改善できるか？
• RQ2 高い確率における行列濃縮不等式に依存せずに、$N$ に対して非線形的依存性を達成できるか？
• RQ3 立方体正則化の文脈における適応的部分サンプリングにおいて、サンプルサイズと収束速度の最適なトレードオフは何か？
• RQ4 正確な勾配が使用される場合でも、固定のヘッセ行列サンプルサイズで同じサンプル複雑度を維持できるか？
• RQ5 確率的ニュートン法の収束解析において、確率的行列の高次モーメントは果たす役割は何か？

主な発見

• 提案された適応的手法は、$(\epsilon, \sqrt{\epsilon})$-近似局所解を求めるにあたり、期待ヘッセ行列のサンプル複雑度が $\mathcal{O}(N + N^{2/3}\epsilon^{-3/2})$ に達することを達成した。
• 正確な勾配が使用される場合でも、固定のヘッセ行列サンプルサイズのまま、同じサンプル複雑度が維持される。
• 行列濃縮不等式に依存せずに、確率的行列平均の3次および4次モーメントの境界を導出し、その分析を回避した。
• 標準的な部分サンプル化ニュートン法は $\mathcal{O}(N\epsilon^{-3/2})$ のヘッセ行列サンプルを必要とするが、本手法はこれを上回る。
• 導出されたモーメント境界は独立に価値があり、高次統計を含む他の確率的最適化問題への応用が可能である可能性を有する。
• 理論的保証は高い確率ではなく期待値に基づいて確立されており、より実用的である場合が多い別の分析フレームワークを提供する。