[論文レビュー] A Generic Quasi-Newton Algorithm for Faster Gradient-Based Optimization

Hongzhou Lin, Julien Mairal+1 more|arXiv (Cornell University)|Apr 5, 2017

Sparse and Compressive Sensing Techniques参考文献 39被引用数 7

ひとこと要約

本稿では、SVRG や MISO などのインクリメンタルな一次順序法に限界記憶 BFGS 更新を統合することで勾配ベース最適化を高速化する汎用的 quasi-Newton アルゴリズムである QuickeNing を提案する。強い凸性を持つ問題に対して線形収束を達成し、大規模かつ高次元の機械学習タスクで顕著な高速化を実現するとともに、合成目的関数における正確なスパarsity を維持する。

ABSTRACT

We propose a generic approach to accelerate gradient-based optimization algorithms with quasi-Newton principles. The proposed scheme, called QuickeNing, can be applied to incremental first-order methods such as stochastic variance-reduced gradient (SVRG) or incremental surrogate optimization (MISO). It is also compatible with composite objectives, meaning that it has the ability to provide exactly sparse solutions when the objective involves a sparsity-inducing regularization. QuickeNing relies on limited-memory BFGS rules, making it appropriate for solving high-dimensional optimization problems. Besides, it enjoys a worst-case linear convergence rate for strongly convex problems. We present experimental results where QuickeNing gives significant improvements over competing methods for solving large-scale high-dimensional machine learning problems.

研究の動機と目的

• quasi-Newton 原理を用いて勾配ベース最適化を高速化する汎用フレームワークの開発。
• SVRG や MISO などのインクリメンタル一次順序法との互換性を可能にすること。
• スパarsity を誘導する正則化を伴う合成目的関数をサポートし、正確なスパース解を保証すること。
• 高次元最適化問題における効率性とスケーラビリティを維持すること。
• 強い凸性を持つ問題に対して最悪ケース線形収束率を達成すること。

提案手法

• 本手法は、インクリメンタル一次順序最適化においてヘシアン行列の近似に限界記憶 BFGS 更新を適用する。
• SVRG や MISO などのインクリメンタルスキームに quasi-Newton 補正を統合することで収束を加速する。
• 高次元設定に適した、過去の更新履歴のメモリを用いた低ランクヘシアン近似を維持する。
• 正則化項の構造と整合性を持つ quasi-Newton 更新により、合成目的関数における正確なスパarsity を維持する。
• 既存の一次順序最適化フレームワークと互換性があり、モジュラーに設計されている。
• 強い凸性の仮定のもとで、最悪ケース線形収束率を保証する。

実験結果

リサーチクエスチョン

• RQ1 quasi-Newton 原理をインクリメンタル一次順序最適化法に一般化して高速化することは可能か？
• RQ2 限界記憶 BFGS を SVRG や MISO などのインクリメンタルスキームと効果的に組み合わせることは可能か？
• RQ3 本手法は、正則化を伴う合成目的関数において正確なスパarsity を維持できるか？
• RQ4 強い凸性を持つ問題に対して、本手法はどのような収束保証を提供するか？
• RQ5 本手法は大規模かつ高次元の機械学習タスクにおいてどのようにスケーリングされ、性能を発揮するか？

主な発見

• QuickeNing は強い凸性を持つ問題に対して最悪ケース線形収束率を達成し、一次順序法の理論的最良性能と一致する。
• 大規模な機械学習問題において、ベースラインの SVRG や MISO に比べて収束速度が顕著に向上する。
• 目的関数にスパarsity を誘導する正則化項が含まれる場合、正確なスパース解を維持する。
• 限界記憶 BFGS の定式化により、高次元問題への効率的スケーリングが可能である。
• 実験結果から、複数の大規模学習タスクにおいて一貫して顕著な性能向上が確認された。