[論文レビュー] QuickeNing: A Generic Quasi-Newton Algorithm for Faster Gradient-Based Optimization

Hongzhou Lin, Julien Mairal+1 more|arXiv (Cornell University)|Oct 4, 2016

Sparse and Compressive Sensing Techniques参考文献 37被引用数 3

ひとこと要約

QuickeNing は、限界記憶 BFGS 更新を用いて曲率情報を統合することで、ラインサーチを必要とせずに、大規模・高次元の機械学習問題においてより速い収束を実現する汎用的な準ニュートン最適化アルゴリズムである。強凸問題では線形収束を保証し、複合目的関数においてスパース解をサポートする。

ABSTRACT

We propose an approach to accelerate gradient-based optimization algorithms by giving them the ability to exploit curvature information using quasi-Newton update rules. The proposed scheme, called QuickeNing, is generic and can be applied to a large class of first-order methods such as incremental and block-coordinate algorithms; it is also compatible with composite objectives, meaning that it has the ability to provide exactly sparse solutions when the objective involves a sparsity-inducing regularization. QuickeNing relies on limited-memory BFGS rules, making it appropriate for solving high-dimensional optimization problems; with no line-search, it is also simple to use and to implement. Besides, it enjoys a worst-case linear convergence rate for strongly convex problems. We present experimental results where QuickeNing gives significant improvements over competing methods for solving large-scale high-dimensional machine learning problems.

研究の動機と目的

• 曲率情報を活用することで、ラインサーチを必要とせずに一次元最適化法を高速化する汎用的な最適化フレームワークの開発。
• インクリメンタルおよびブロック座標最適化スキームにおいて、準ニュートン更新を活用できるようにすること。
• スパース性を誘導する正則化を含む複合目的関数をサポートし、正確なスパース解を保証すること。
• ラインサーチを排除した限界記憶 BFGS を用いることで、高次元設定におけるスケーラビリティと単純性を確保すること。
• 強凸問題に対して、最悪ケースの線形収束レートを確立すること。

提案手法

• 限界記憶 BFGS 更新規則を用いて、過去の勾配情報からヘシアン行列の近似を実行する。
• インクリメンタルおよびブロック座標降下法などの一次元アルゴリズムに、曲率更新を統合する。
• ラインサーチを回避するため、曲率近似に基づく固定で適応的なステップサイズ戦略を採用する。
• 複合目的関数における正則化項の構造を保持することで、解のスパarsityを維持する。
• 既存の一次元ソルバーとの後方互換性を確保し、実装をモジュール化するように更新メカニズムを設計する。
• 収束解析により、強凸性のもとで最悪ケースの線形収束レートを確立する。

実験結果

リサーチクエスチョン

• RQ1 ラインサーチを必要とせずに、準ニュートン更新を一次元最適化法に効果的に統合できるか？
• RQ2 正則化が存在する場合でも、提案手法が解のスパース性を維持できるか？
• RQ3 大規模・高次元問題において、標準的一次元最適化法よりも収束が速くなるか？
• RQ4 強凸問題において、この手法の収束レートが実際に線形であると証明できるか？
• RQ5 さまざまな機械学習タスクおよび次元数において、この手法の性能スケーリングはどのように変化するか？

主な発見

• QuickeNing は、大規模な機械学習問題を解く際、競合する一次元最適化法よりも顕著な高速化を達成する。
• 強凸問題において線形収束を示し、理論的保証と一致する。
• 目的関数にスパース性を誘導する正則化項が含まれる場合、正確なスパース解を生成する。
• 限界記憶 BFGS の定式化のおかげで、高次元設定においても有効である。
• ラインサーチの不在により、実装が簡素化され、計算効率が向上する。
• 実験結果により、QuickeNing が収束速度とスケーラビリティの両面でベースライン手法を上回ることが確認された。