[論文レビュー] Adaptively Accelerating Cubic Regularized Newton's Methods for Convex Optimization via Random Sampling

Xi Chen, Bo Jiang+2 more|arXiv (Cornell University)|Feb 15, 2018

Sparse and Compressive Sensing Techniques参考文献 51被引用数 12

ひとこと要約

本稿では、大規模凸最適化のための適応的で部分サンプリングされた立方体正則化ニュートン法を提案する。ヘシアン行列の近似に一様または非一様サンプリングを用いる。高い確率で O(ε⁻¹ᐟ³) の反復複雑性を達成し、フルヘシアン法と同等の性能を示す一方で、最悪ケースでは O(log(ε⁻¹)ε⁻⁵ᐟ⁶) の境界を維持する。ロジスティック回帰タスクにおいて加速効果を示した。

ABSTRACT

In this paper, we consider an unconstrained optimization model where the objective is a sum of a large number of possibly nonconvex functions, though overall the objective is assumed to be smooth and convex. Our bid to solving such model uses the framework of cubic regularization of Newton's method. As well known, the crux in cubic regularization is its utilization of the Hessian information, which may be computationally expensive for large-scale problems. To tackle this, we resort to approximating the Hessian matrix via sub-sampling. In particular, we propose to compute an approximated Hessian matrix by either extit{uniformly}\/ or extit{non-uniformly}\/ sub-sampling the components of the objective. Based upon such sampling strategy, we develop accelerated adaptive cubic regularization approaches and provide theoretical guarantees on global iteration complexity of $O(\epsilon^{-1/3})$ with high probability, which matches that of the original accelerated cubic regularization methods \cite{Jiang-2017-Unified} using the extit{full}\/ Hessian information. Interestingly, we show that in the worst case scenario our algorithm still achieves an $O\left(\log(\epsilon^{-1})\epsilon^{-5/6} ight)$ iteration complexity bound. The performances of the proposed methods on the regularized logistic regression problems show a clear effect of acceleration in terms of the epoch counts on several real data sets.

研究の動機と目的

• 大規模問題における立方体正則化ニュートン法のヘシアン行列計算の高コストを緩和すること。
• 目的関数の成分に対する一様および非一様サンプリングを用いた効率的なヘシアン行列近似戦略の開発。
• 部分サンプリングされたヘシアン情報を用いながらも、加速された立方体正則化の最適な O(ε⁻¹ᐟ³) の反復複雑性を維持すること。
• サンプリングに基づくヘシアン近似下での収束に関する高い確率での理論的保証を提供すること。
• 実世界の正則化ロジスティック回帰データセットにおけるエポック数の観点から、実験的に加速効果を検証すること。

提案手法

• 和構造の目的関数における個々の成分の部分サンプリングを用いてヘシアン行列を近似する。
• 一様および非一様サンプリング戦略を用いてヘシアン行列近似を構築し、非一様サンプリングはより情報量の多い成分を優遇する。
• 局所的曲率推定に基づいて正則化パラメータを調整する、適応的立方体正則化をニュートン法フレームワークに統合する。
• 計算コストを削減しながら収束保証を維持するため、確率的ヘシアン近似を用いる。
• サンプリング下での反復複雑性の境界を導出する理論的分析を適用し、高い確率での収束を示す。

実験結果

リサーチクエスチョン

• RQ1 立方体正則化ニュートン法における部分サンプリングされたヘシアン近似は、フルヘシアン法の O(ε⁻¹ᐟ³) の反復複雑性を保持できるか？
• RQ2 ヘシアン近似の観点から、非一様サンプリングは一様サンプリングに比べて収束速度と安定性で優位性を示すか？
• RQ3 提案手法の最悪ケースにおける反復複雑性は何か？ また、フルヘシアン法と比較するとどうなるか？
• RQ4 提案手法は、実世界の機械学習問題においてエポック数の観点で実用的な加速を達成できるか？
• RQ5 部分サンプリング下での収束に関する高い確率での理論的保証は、どのように確立できるか？

主な発見

• 提案手法は、高い確率で O(ε⁻¹ᐟ³) の反復複雑性を達成し、フルヘシアン法の理論的境界と一致する。
• 最悪ケースでは、O(log(ε⁻¹)ε⁻⁵ᐟ⁶) の反復複雑性を維持しており、既知の境界と競争力を持つ。
• 非一様サンプリングはヘシアン近似の品質を向上させ、実際の収束速度の向上に寄与する。
• 正則化ロジスティック回帰における実験結果から、複数の実データセットにおいてエポック数の観点で明確な加速が確認された。
• 部分サンプリングによるヘシアン計算コストを顕著に削減する一方で、収束に関する強い理論的保証を提供する。