[論文レビュー] Nestrov's Acceleration For Second Order Method

Haishan Ye, Zhihua Zhang|arXiv (Cornell University)|May 19, 2017

Stochastic Gradient Optimization Techniques参考文献 2被引用数 3

ひとこと要約

本稿では、Nesterovの加速技術を近似ニュートン法に適用することで、正則化された部分サンプルニュートン法を高速化する手法を提案する。収束速度と性能が顕著に向上し、理論的分析により一次元最適化手法と同様の加速効果が確認され、実験ではベースラインおよび最先端のアルゴリズムを上回る優れた実験的結果を示す。

ABSTRACT

Optimization plays a key role in machine learning. Recently, stochastic second-order methods have attracted much attention due to their low computational cost in each iteration. However, these algorithms might perform poorly especially if it is hard to approximate the Hessian well and efficiently. As far as we know, there is no effective way to handle this problem. In this paper, we resort to Nestrov's acceleration technique to improve the convergence performance of a class of second-order methods called approximate Newton. We give a theoretical analysis that Nestrov's acceleration technique can improve the convergence performance for approximate Newton just like for first-order methods. We accordingly propose an accelerated regularized sub-sampled Newton. Our accelerated algorithm performs much better than the original regularized sub-sampled Newton in experiments, which validates our theory empirically. Besides, the accelerated regularized sub-sampled Newton has good performance comparable to or even better than state-of-art algorithms.

研究の動機と目的

• ヘッセ行列の近似が不正確な場合に、確率的2次最適化手法の性能が劣化することを是正すること。
• 一次元最適化手法で効果を示したNesterovの加速技術が、近似ニュートンのような2次最適化手法に対しても効果を発揮するかを調査すること。
• 収束性を理論的に裏付けた、正則化された部分サンプルニュートン法の加速版を構築すること。

提案手法

• Nesterovの加速フレームワークを近似ニュートン法に適応し、予測に基づく更新（extrapolation）を含む運動量型の更新を導入する。
• 悪条件設定下での最適化を安定化させるために、部分サンプルヘッセ行列の近似に正則化を統合する。
• 二重ループ更新方式を採用：一方は予測された探索点の更新に、もう一方はヘッセ行列に基づく降下ステップに使用する。
• 部分サンプルヘッセ行列の更新にNesterovの最適加速戦略を適用し、収束速度の向上を保証する。

実験結果

リサーチクエスチョン

• RQ1 Nesterovの加速技術は、一次元最適化手法と同様に、近似ニュートン法の収束性を改善できるか？
• RQ2 実際の応用において、加速された正則化された部分サンプルニュートン法は、元の正則化された部分サンプルニュートン法よりも優れた性能を示すか？
• RQ3 提案手法は、最先端の最適化アルゴリズムと同等またはそれ以上の性能を達成できるか？

主な発見

• 提案された加速された正則化された部分サンプルニュートン法は、すべての実験で元の正則化された部分サンプルニュートン法よりも収束が速いことが確認された。
• 理論的分析により、Nesterovの加速が近似ニュートン法に対しても、一次元設定と同様に収束速度の向上をもたらすことが裏付けられた。
• 実験的結果から、提案手法は複数のベンチマークデータセットにおいて、最先端のアルゴリズムを上回るか、同等の性能を発揮することが示された。
• 加速メカニズムのおかげで、ヘッセ行列の近似が困難な状況下でも、本手法は頑健であることが示された。