[論文レビュー] Accelerating Adaptive Cubic Regularization of Newton's Method via Random Sampling

Xi Chen, Bo Jiang+2 more|arXiv (Cornell University)|Feb 15, 2018

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、非凸な成分関数を伴う大規模最適化のための高速化された適応的3次正則化法、SACRを提案する。ヘシアン行列の均一または非均一な確率的サンプリングを用いることで、SACRは高い確率で $\mathcal{O}(\epsilon^{-1/3})$ のグローバル反復複雑性を達成する——これはフルヘシアンを用いた加速法と同一の性能である——一方で、現実のデータセットにおいても安定性と効率性を維持する。

ABSTRACT

In this paper, we consider an unconstrained optimization model where the objective is a sum of a large number of possibly nonconvex functions, though overall the objective is assumed to be smooth and convex. Our bid to solving such model uses the framework of cubic regularization of Newton's method. As well known, the crux in cubic regularization is its utilization of the Hessian information, which may be computationally expensive for large-scale problems. To tackle this, we resort to approximating the Hessian matrix via sub-sampling. In particular, we propose to compute an approximated Hessian matrix by either extit{uniformly}\/ or extit{non-uniformly}\/ sub-sampling the components of the objective. Based upon such sampling strategy, we develop accelerated adaptive cubic regularization approaches and provide theoretical guarantees on global iteration complexity of $O(ε^{-1/3})$ with high probability, which matches that of the original accelerated cubic regularization methods \cite{Jiang-2017-Unified} using the extit{full}\/ Hessian information. Interestingly, we show that in the worst case scenario our algorithm still achieves an $O\left(\log(ε^{-1})ε^{-5/6} ight)$ iteration complexity bound. The performances of the proposed methods on the regularized logistic regression problems show a clear effect of acceleration in terms of the epoch counts on several real data sets.

研究の動機と目的

• 大規模問題における3次正則化ニュートン法のヘシアン計算コストの高さに対処すること。
• 勾配およびヘシアンのリプシッツ定数の明示的知識を必要としない、適応的でパラメータフリーのアルゴリズムの開発。
• フルヘシアン法と同等の加速収束レートを達成しつつ、部分サンプリングされたヘシアン近似を用いること。
• 最悪ケースにおいても、確率的サンプリングの下で反復複雑性に関する理論的保証を確保すること。
• 大規模データセットを用いた正則化ロジスティック回帰問題において、実用的な効率性を示すこと。

提案手法

• 有限和の目的関数における成分関数の均一または非均一なサンプリングにより、部分サンプリングされたヘシアン近似を提案する。
• 部分サンプリングされたヘシアンを適応的3次正則化フレームワークに統合し、収束の安定化と加速を実現する。
• ヘシアン計算コストを低減しつつ、グローバル収束の保証を維持するための確率的サンプリング戦略を用いる。
• 一般化された共役勾配法を用いて部分問題を効率的に解き、高次元問題へのスケーラビリティを実現する。
• 局所的な曲率とサンプリング分散に基づいてステップサイズを適応的に調整するルールを設計し、問題パラメータの事前知識を不要にする。
• サンプリングの不確実性下でも高い確率での複雑性バウンドを確立するための新規な証明技法を活用する。

実験結果

リサーチクエスチョン

• RQ1 フルヘシアン計算なしに、部分サンプリングされたヘシアン近似のみを用いて、適応的3次正則化を高速化できるか？
• RQ2 高い確率でのサンプリング保証下で、そのような部分サンプリング加速法のグローバル反復複雑性はいかほどか？
• RQ3 サンプリング品質が悪い最悪ケースにおいて、アルゴリズムはどのように振る舞うか？
• RQ4 計算コストの面で効率的である一方で、フルヘシアン加速法と同等の収束レートを維持できるか？
• RQ5 大規模な機械学習問題において、標準的な確率的勾配法や準ニュートン法に比べ、実際の性能が優れているか？

主な発見

• SACRは高い確率でグローバル反復複雑性 $\mathcal{O}(\epsilon^{-1/3})$ を達成し、フルヘシアン加速法の理論的レートと一致する。
• 最悪ケースにおいても、反復複雑性が $\mathcal{O}(\epsilon^{-5/6}\log(\epsilon^{-1}))$ に保たれることを示し、強靭性を確認した。
• 8つの実データセットを用いた実験では、SACRはSGD、LBFGS、ミニバッチLBFGS、ACRをすべて上回る収束速度と解の精度を達成した。
• 特に高次元設定において、部分サンプリングのおかげで、決定的アルゴリズム（ACR）よりも効率的であることが示された。
• ヘシアンが近似されても、SACRは高速な収束を維持でき、共役勾配法による部分問題の解法も効率的である。
• 提案された証明技法は新規であり、確率的2次までの手法の解析において独立した価値を持つ可能性がある。