[論文レビュー] Stochastic L-BFGS Revisited: Improved Convergence Rates and Practical Acceleration Strategies

Renbo Zhao, William B. Haskell+1 more|arXiv (Cornell University)|Jan 1, 2017

Sparse and Compressive Sensing Techniques参考文献 9被引用数 2

ひとこと要約

本稿は、より良い収束レートと計算複雑性を達成する新たな収束解析フレームワークを導入することで、確率的 L-BFGS を再考する。さらに、バックトラッキングラインサーチ、適応的ヘシアン近似、分散低減といった実用的な加速戦略を提案し、最先端の手法と比較して、大規模なロジスティック回帰およびリッジ回帰タスクにおいて顕著な実験的性能向上を示している。

ABSTRACT

We revisit the stochastic limited-memory BFGS (L-BFGS) algorithm. By proposing a new framework for the convergence analysis, we prove improved convergence rates and computational complexities of the stochastic L-BFGS algorithms compared to previous works. In addition, we propose several practical acceleration strategies to speed up the empirical performance of such algorithms. We also provide theoretical analyses for most of the strategies. Experiments on large-scale logistic and ridge regression problems demonstrate that our proposed strategies yield significant improvements vis-a-vis competing state-of-the-art algorithms.

研究の動機と目的

• 確率的 L-BFGS アルゴリズムの理論的収束レートと計算複雑性を改善すること。
• 理論的保証を損なわずに実効的な性能を向上させる実用的な加速戦略を開発すること。
• 提案された各加速戦略について理論的分析を提供すること。
• 大規模なロジスティック回帰およびリッジ回帰問題において、提案手法の実験的妥当性を検証すること。

提案手法

• 収束レートと計算複雑性の tighter な理論的境界を確立するため、新たな収束解析フレームワークを導入する。
• ステップサイズを適応的に決定するためにバックトラッキングラインサーチを統合し、安定性と収束速度を向上させる。
• 確率的設定下での曲率情報のより良い捉え込みを図るため、適応的ヘシアン近似戦略を提案する。
• ノイズの多い勾配環境における更新の安定化と収束加速のため、分散低減技術を適用する。
• 各加速戦略について理論的分析を提供し、その設計が収束行動の改善にどのように寄与するかを明示する。

実験結果

リサーチクエスチョン

• RQ1 新たな収束解析フレームワークは、確率的 L-BFGS に対して改善された理論的収束レートを達成できるか？
• RQ2 バックトラッキングラインサーチや分散低減といった実用的加速戦略は、実験的性能を向上させるか？
• RQ3 提案された戦略は、既存の最先端の確率的最適化手法と比較して、収束速度と解の品質の両面で優れているか？
• RQ4 実行時間と収束性を著しく改善しつつも、理論的保証を維持できるか？

主な発見

• 提案フレームワークは、従来の確率的 L-BFGS 手法と比較して、改善された理論的収束レートと低い計算複雑性を達成している。
• バックトラッキングラインサーチは収束の安定性を著しく向上させ、必要な反復回数を削減している。
• 適応的ヘシアン近似は、大規模な問題において目的関数値の低下をより速く実現している。
• 分散低減技術は、複数のデータセットにわたって一貫性があり、より速い収束を実現している。
• 実験的結果から、提案手法はロジスティック回帰およびリッジ回帰タスクにおいて、収束速度と最終的な解の品質の両面で、競合する最先端アルゴリズムを上回っていることが示された。