[論文レビュー] On Adaptive Cubic Regularized Newton's Methods for Convex Optimization via Random Sampling

Xi Chen, Bo Jiang+2 more|arXiv (Cornell University)|Feb 15, 2018

Sparse and Compressive Sensing Techniques被引用数 7

ひとこと要約

本稿では、和構造の目的関数におけるヘシアン行列を一様または非一様な部分サンプリングによって近似することで、大規模凸最適化のための適応的立方正則化ニュートン法を提案する。標準的バージョンでは$O(\epsilon^{-1/2})$、加速版では$O(\epsilon^{-1/3})$のグローバル反復複雑度を達成し、フルヘシアン法と同等の性能を示す一方で、ロジスティック回帰タスクにおいて実際の加速が確認された。

ABSTRACT

In this paper, we consider an unconstrained optimization model where the objective is a sum of a large number of possibly nonconvex functions, though overall the objective is assumed to be smooth and convex. Our bid to solving such model uses the framework of cubic regularization of Newton's method.As well known, the crux in cubic regularization is its utilization of the Hessian information, which may be computationally expensive for large-scale problems. To tackle this, we resort to approximating the Hessian matrix via sub-sampling. In particular, we propose to compute an approximated Hessian matrix by either uniformly or non-uniformly sub-sampling the components of the objective. Based upon sub-sampling, we develop both standard and accelerated adaptive cubic regularization approaches and provide theoretical guarantees on global iteration complexity. We show that the standard and accelerated sub-sampled cubic regularization methods achieve iteration complexity in the order of $O(\epsilon^{-1/2})$ and $O(\epsilon^{-1/3})$ respectively, which match those of the original standard and accelerated cubic regularization methods \cite{Cartis-2012-Evaluation, Jiang-2017-Unified} using the full Hessian information. The performances of the proposed methods on regularized logistic regression problems show a clear effect of acceleration in terms of epochs on several real data sets.

研究の動機と目的

• 大規模問題における立方正則化ニュートン法のヘシアン計算コストの高さに対処すること。
• 目的関数の成分の部分サンプリングを用いた効率的なヘシアン近似技術の開発。
• 理論的収束保証を維持する標準的および加速型の適応的立方正則化手法の設計。
• 計算負荷を低減しつつも、フルヘシアン法と同等の反復複雑度を達成すること。
• 実世界の正則化ロジスティック回帰問題における提案手法の有効性と加速効果を実験的に検証すること。

提案手法

• 和構造の目的関数における成分の部分サンプリングを用いてヘシアン行列を近似する。
• 各反復における目的関数の十分な減少を保証するため、適応的立方正則化フレームワークを採用する。
• 部分サンプリング立方正則化法の標準的および加速型の両バージョンを導入する。
• 部分サンプリングされたヘシアン近似から得られる局所的曲率推定値に基づいた適応的ステップサイズ選択を実施する。
• 滑らかさおよび凸性の仮定の下で、グローバル反復複雑度の境界を理論的に導出する。
• ランダムサンプリング技術を活用してヘシアン計算コストを低減しつつ、収束速度を維持する。

実験結果

リサーチクエスチョン

• RQ1 ヘシアン成分の部分サンプリングは、凸最適化におけるフルヘシアン立方正則化法の収束複雑度を保持できるか？
• RQ2 収束速度と安定性の観点から、非一様サンプリングは一様サンプリングに比べてどのように異なるか？
• RQ3 部分サンプリング立方正則化法の加速型は、フルヘシアン対応版と同等の反復複雑度を達成できるか？
• RQ4 実世界の機械学習問題において、エポック数と収束速度の観点から、実験的性能向上はどの程度か？
• RQ5 部分的なヘシアン成分のみを用いた場合に、適応的立方正則化フレームワークは依然として頑健性を保つか？

主な発見

• 標準的部分サンプリング立方正則化法は、$O(\epsilon^{-1/2})$の反復複雑度を達成し、フルヘシアン法と同等である。
• 加速型部分サンプリング立方正則化法は、$O(\epsilon^{-1/3})$の反復複雑度を達成し、フルヘシアン加速版と同一である。
• 正則化ロジスティック回帰における実験結果から、非加速型手法と比較して明確なエポック数の削減と収束速度の向上が確認された。
• 実際の応用において、非一様サンプリングは一様サンプリングに比べて収束効率が向上した。
• 部分的なヘシアン成分のみを用いても、理論的収束保証が維持された。
• 一様および非一様サンプリング戦略の両方において、理論的複雑度境界が保持された。