[論文レビュー] Second Order Stochastic Optimization in Linear Time.

Naman Agarwal, Brian Bullins+1 more|arXiv (Cornell University)|Feb 12, 2016

Stochastic Gradient Optimization Techniques参考文献 10被引用数 42

ひとこと要約

この論文は、効率的な行列ランダム化技術を活用することで、勾配降下と同等の1イテレーションあたりの計算コストを維持しながら線形収束を達成する、新しい2次ステップの確率的最適化手法を導入する。凸のベンチマークにおいて線形分類器の学習を顕著に高速化し、また自己凸関数の特殊な場合において、1次ステップの手法が条件数に依存しない線形収束を達成できることを示している。

ABSTRACT

Stochastic optimization and, in particular, first-order stochastic methods are a cornerstone of modern machine learning due to their extremely efficient per-iteration computational cost. Second-order methods, while able to provide faster per-iteration convergence, have been much less explored due to the high cost of computing the second-order information. In this paper we develop a second-order stochastic method for optimization problems arising in machine learning based on novel matrix randomization techniques that match the per-iteration cost of gradient descent, yet enjoy the linear-convergence properties of second-order optimization. We also consider the special case of self-concordant functions where we show that a first order method can achieve linear convergence with guarantees independent of the condition number. We demonstrate significant speedups for training linear classifiers over several convex benchmarks.

研究の動機と目的

• 2次ステップの最適化手法が、収束が速い反面、計算コストが高いため実用的でないという問題に対処すること。
• 1次ステップの手法が持つ低コストな1イテレーション計算を維持しながら、2次ステップの手法が達成する高速な線形収束を実現する確率的最適化手法を開発すること。
• 自己凸関数の特別な場合において、1次ステップの手法が条件数に依存しない線形収束を達成できるかどうかを調査すること。
• 特に線形分類タスクにおいて、提案手法を凸のベンチマークで実験的に検証すること。

提案手法

• 本手法は、2次ステップの情報を効率的に近似するための新しい行列ランダム化技術を採用し、計算のオーバーヘッドを低減する。
• 勾配降下と同等の1イテレーションあたりのコストを維持しながら、曲率情報を組み込むことで収束を高速化する。
• 自己凸関数の場合、条件数に依存しない収束保証を導出でき、理論的に顕著な改善をもたらす。
• 完全なヘシアン行列の計算を避けるために、ランダマイズドヘシアン近似を用いることで、大規模な問題へのスケーラビリティを実現する。
• 標準的な確率的最適化フレームワークと互換性を持つように設計されており、既存の学習パイプラインへのシームレスな統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1次ステップの手法と同等の1イテレーションあたりの計算コストで、2次ステップの情報を確率的最適化で活用できるか？
• RQ2 行列ランダム化技術により、収束速度を損なわずに効率的なヘシアン近似が可能か？
• RQ3 自己凸関数の特別な場合において、1次ステップの手法が条件数に依存しない線形収束を達成できるか？
• RQ4 提案手法は、凸のベンチマークにおいて、1次ステップおよび2次ステップのベースラインと比較して、収束速度と学習効率の点で優れているか？

主な発見

• 提案された2次ステップの確率的最適化手法は、勾配降下と同等の計算コストで線形収束を達成する。
• 複数の凸のベンチマークにおいて、線形分類器の学習で顕著な高速化を示し、標準的な1次ステップのアプローチを上回る。
• 自己凸関数の場合、1次ステップのバージョンは条件数に依存しない線形収束を達成し、保証が得られる。
• 行列ランダム化により、低コストで高精度なヘシアン近似が可能となり、2次ステップの手法を大規模な機械学習に実用可能にする。