[論文レビュー] A Unified Scheme to Accelerate Adaptive Cubic Regularization and Gradient Methods for Convex Optimization

Bo Jiang, Tianyi Lin+1 more|arXiv (Cornell University)|Oct 13, 2017

Sparse and Compressive Sensing Techniques被引用数 8

ひとこと要約

本稿では、勾配やヘッセ行列のリプシッツ定数の事前知識を必要とせずに、凸最適化における適応的コーシー正則化法と勾配法の両方を加速する統一的二段階適応スキームを提案する。アルゴリズムのパラメータを適応的に調整し、部分問題を近似的に解くことで、コーシー正則化法では $O(1/ heta^{1/3})$、勾配法では $O(1/ heta^{1/2})$ の最適な反復複雑性を達成し、既存の理論的最良境界に一致しながら完全な適応性を維持する。

ABSTRACT

In this paper we propose a unified two-phase scheme for convex optimization to accelerate: (1) the adaptive cubic regularization methods with exact/inexact Hessian matrices, and (2) the adaptive gradient method, without any knowledge of the Lipschitz constants for the gradient or the Hessian. This is achieved by tuning the parameters used in the algorithm $ extit{adaptively}$ in its process of progression, which can be viewed as a relaxation over the existing algorithms in the literature. Under the assumption that the sub-problems can be solved approximately, we establish overall iteration complexity bounds for three newly proposed algorithms to obtain an $ε$-approximate solution. Specifically, we show that the adaptive cubic regularization methods with the exact/inexact Hessian matrix both achieve an iteration complexity in the order of $O\left( 1 / ε^{1/3} ight)$, which matches that of the original accelerated cubic regularization method presented in [Nesterov-2008-Accelerating] assuming the availability of the exact Hessian information and the Lipschitz constants, and that the sub-problems are solved to optimality. Under the same two-phase adaptive acceleration framework, the gradient method achieves an iteration complexity in the order $O\left( 1 / ε^{1/2} ight)$, which is known to be best possible (cf. Nesterov-2013-Introductory). Our numerical experiment results show a clear effect of acceleration displayed in the adaptive Newton method with cubic regularization on a set of regularized logistic regression instances.

研究の動機と目的

• 凸最適化における一次および二次の方法の両方の適応的・パラメータフリーな加速フレームワークの開発。
• 勾配やヘッセ行列のリプシッツ定数の知識を必要とせずに、適応的コーシー正則化法および勾配法の最適な反復複雑性境界を達成すること。
• 正確／不正確なヘッセ行列を伴う適応的コーシー正則化法と適応的勾配法の両方の加速を、単一の二段階スキームで統一すること。
• 提案手法が理論的最適性を維持しながら、大規模な機械学習問題における数値的性能を向上させることを示すこと。

提案手法

• 本手法は二段階の適応スキームを採用する：初期の加速段階とその後の精錬段階で、実行中にアルゴリズムパラメータを動的に調整する。
• 問題定数の事前知識なしに正則化やステップサイズを調整するため、適応的ラインサーチと信頼領域に類似した戦略を用いる。
• 部分問題はKrylov部分空間内でのランチョス法を用いて近似的に解き、反復ごとに $O(d)$ の計算コストで効率的な計算を実現する。
• 近似解に対して一次最適性条件を課す：$\mathbf{s}^\top\nabla f(\mathbf{x}_i) + \mathbf{s}^\top\nabla^2f(\mathbf{x}_i)\mathbf{s} + \sigma\|\mathbf{s}\|^3 = 0$。
• 適応的コーシー正則化法と勾配法を共通の加速メカニズムに統合し、統一的な収束解析を可能にする。
• 実験ではスイッチング基準を用いる：反復あたりの進捗が10％未満に低下すると、加速段階から適応的コーシー正則化段階に移行する。

実験結果

リサーチクエスチョン

• RQ1 ヘッセ行列のリプシッツ定数を知らない状態で、完全に適応的なアルゴリズムが $O(1/\theta^{1/3})$ の最適な反復複雑性を達成できるか？
• RQ2 同じ適応的フレームワークが、勾配のリプシッツ定数を知らない状態で勾配法を $O(1/\theta^{1/2})$ の最適な複雑性に加速できるか？
• RQ3 一次および二次の方法の両方の加速を、理論的最適性を保ちつつ単一の適応スキームで統合できるか？
• RQ4 大規模な機械学習問題において、適応的二段階スキームは既存の手法と比較してどのように数値的に性能を発揮するか？

主な発見

• 正確なヘッセ行列を用いた適応的コーシー正則化法は、問題定数の完全な知識がある場合のネステロフ法の最良境界に一致する $O(1/\theta^{1/3})$ の反復複雑性を達成する。
• ヘッセ行列の近似を用いた変種である不正確ヘッセ行列バージョンの適応的コーシー正則化法も、部分問題の近似解に対して $O(1/\theta^{1/3})$ の反復複雑性を達成する。
• 適応的勾配法は $O(1/\theta^{1/2})$ の反復複雑性を達成し、これは既知の最適であり、一次の方法における最良境界に一致する。
• 正則化ロジスティック回帰における数値実験では、提案手法のAARCがARC、L-BFGS、TR、AAGD、AGDよりも計算時間および反復回数の両面で優れていることが示された。
• 特に二次収束領域に入り込む前段階で、初期の適応的加速段階のおかげでARCに明確な加速効果が見られた。
• ランチョスに基づく部分問題の近似解法は、効率性と正確性を維持しており、反復ごとに $O(d)$ のコストで、一次最適性条件を満たすことを可能にしている。