[論文レビュー] A Linearly-Convergent Stochastic L-BFGS Algorithm

Philipp Moritz, Robert Nishihara+1 more|arXiv (Cornell University)|Aug 9, 2015

Stochastic Gradient Optimization Techniques参考文献 31被引用数 78

ひとこと要約

本稿では、ジョンソンとザンプ（2013）の分散低減技術を確率的 L-BFGS フレームワークに統合することで、強い凸性および滑らかさを満たす関数に対して線形収束を達成する、新しい確率的 L-BFGS アルゴリズムを提案する。この手法はミニバッチのヘッセ・ベクトル積と、完全勾配のリセットを用いて勾配の分散を低減し、減少するステップサイズを必要とせずに高速かつ安定した収束を実現する。

ABSTRACT

We propose a new stochastic L-BFGS algorithm and prove a linear convergence rate for strongly convex and smooth functions. Our algorithm draws heavily from a recent stochastic variant of L-BFGS proposed in Byrd et al. (2014) as well as a recent approach to variance reduction for stochastic gradient descent from Johnson and Zhang (2013). We demonstrate experimentally that our algorithm performs well on large-scale convex and non-convex optimization problems, exhibiting linear convergence and rapidly solving the optimization problems to high levels of precision. Furthermore, we show that our algorithm performs well for a wide-range of step sizes, often differing by several orders of magnitude.

研究の動機と目的

• 準ニュートン法の高速収束を維持しながら、大規模問題に効率的にスケーリングできる確率的 L-BFGS アルゴリズムの設計。
• 標準的な確率的 L-BFGS の不安定性と遅い収束を是正するため、完全勾配のリセットによる勾配分散の低減。
• 強い凸性および滑らかさの設定において、提案アルゴリズムの線形収束レートを証明し、ステップサイズの減少を回避する。
• 実験的に、凸および非凸問題の両方において、線形収束と高精度解が達成されることを示す。

提案手法

• 勾配とヘッセの近似に別々のミニバッチを使用する：$\mathcal{S}$ は確率的勾配 $\nabla f_{\mathcal{S}}$ のために、$\mathcal{T}$ はヘッセ・ベクトル積のため。
• 定期的に完全勾配 $\nabla f(w_k)$ を計算し、$v_t = \nabla f_{\mathcal{S}}(x_t) - \nabla f_{\mathcal{S}}(w_k) + \nabla f(w_k)$ を用いて、確率的勾配推定値を補正することで分散低減を実現。
• 更新式は $w_{k+1} = w_k - \eta_k H_k v_k$ に従い、$H_k$ は L-BFGS のメモリ更新を用いて更新される準ニュートン近似である。
• トレースと行列式の上限を用いてヘッセ近似の固有値を有界に保つことで、安定性と収束保証を確保。
• 収束解析は、滑らかさと強い凸性の仮定に基づき、補正された勾配推定値の期待二乗ノルムを有界にすることに依存。
• 初期値が最適解に設定されていなくても、勾配推定値の分散蓄積を防ぐことで線形収束を維持するように設計。

実験結果

リサーチクエスチョン

• RQ1 ステップサイズを減少させることなく、確率的 L-BFGS アルゴリズムが線形収束を達成できるか？
• RQ2 大規模最適化における準ニュートン法において、確率的勾配推定値の分散を効果的に低減する方法は何か？
• RQ3 L-BFGS と分散低減技術を組み合わせることで、凸および非凸問題の両方でより高速な収束が達成できるか？
• RQ4 異なるステップサイズ、特に数個のオーダーの差がある範囲において、提案アルゴリズムの性能はどのようにスケーリングするか？

主な発見

• 提案アルゴリズムは、強い凸性および滑らかさを満たす関数に対して線形収束レートを達成し、最適解に初期化された場合でも収束が保証される。
• 実際の応用において、大規模な凸および非凸問題においても線形収束を示し、高精度な解を迅速に得られる。
• 広範なステップサイズ範囲で安定した性能を示し、しばしば数個のオーダーの差がある場合でも、強い数値的安定性を示している。
• 理論的解析により、分散低減された勾配推定値が誤差成長を有界に保つことが確認され、ステップサイズを減少させることなく線形収束が可能であることが裏付けられた。
• ヘッセ近似において条件数が有界に保たれ、反復処理の間でも安定かつ効率的な更新が維持される。
• 実験的結果から、曲率情報が重要となる悪条件な設定では、標準的な確率的一次元法を上回る性能を示した。