[論文レビュー] A Stochastic Quasi-Newton Method for Large-Scale Optimization

Richard H. Byrd, Samantha Hansen+2 more|arXiv (Cornell University)|Jan 27, 2014

Stochastic Gradient Optimization Techniques参考文献 18被引用数 46

ひとこと要約

この論文では、完全なバッチHessian計算が非現実的である大規模な機械学習問題に対して、スケーラブルで安定した最適化手法を提供する確率的準ニュートン法を提案する。本手法は、反復毎のノイズの多い勾配差分ではなく、定期的にサブサンプルされたHessian-ベクトル積を用いて信頼性の高い曲率情報を統合することで、確率的勾配降下法を改善する。限界記憶BFGS更新を用い、安定的かつスケーラブルなHessian近似を実現し、既存の確率的準ニュートン法と比較して収束が速く、機械学習問題における性能が優れている。

ABSTRACT

The question of how to incorporate curvature information in stochastic approximation methods is challenging. The direct application of classical quasi- Newton updating techniques for deterministic optimization leads to noisy curvature estimates that have harmful effects on the robustness of the iteration. In this paper, we propose a stochastic quasi-Newton method that is efficient, robust and scalable. It employs the classical BFGS update formula in its limited memory form, and is based on the observation that it is beneficial to collect curvature information pointwise, and at regular intervals, through (sub-sampled) Hessian-vector products. This technique differs from the classical approach that would compute differences of gradients, and where controlling the quality of the curvature estimates can be difficult. We present numerical results on problems arising in machine learning that suggest that the proposed method shows much promise.

研究の動機と目的

• 完全なバッチHessian計算が非現実的な大規模な機械学習問題に対して、スケーラブルでロバストな確率的準ニュートン法を開発すること。
• ノイズの多い勾配差分に起因する曲率推定の不安定性を解消すること。
• 高い計算コストを伴わないまま、確率的近似設定において2次情報の効率的統合を可能にすること。
• Hessian-ベクトル積の計算コストを均等に分散させることで、強凸関数に対してグローバル収束を保証するとともに、1反復あたりのコストを低く抑えること。
• 大規模な学習問題において、既存の確率的準ニュートン法（例：oLBFGS）と比較して収束速度とロバスト性の面で優れていること。

提案手法

• 本手法は、1反復あたり$ O(n) $の計算量で逆Hessian近似$ H_k $を維持するため、限界記憶BFGS更新式を採用する。
• 曲率情報は、毎反復における勾配差分ではなく、定期的な間隔$ L $でサブサンプルされたHessian-ベクトル積$ \nabla^2 F(w) v $を用いて収集する。
• Hessian-ベクトル積はサイズ$ b_H $のミニバッチを用いて計算され、ノイズを制御した安定的で一貫性のある曲率推定が可能になる。
• アルゴリズムは減少するステップサイズ$ \alpha^k = \beta / k $を用い、標準的な凸性仮定のもとで収束を保証する。
• Hessian-ベクトル計算における共有サンプリングにより、勾配差分に基づくHessian推定の不安定性を回避する。
• 逆Hessian近似$ H_k $は、$ L $反復に1回の頻度で更新され、Hessian-ベクトル積の計算コストを均等に分散させつつ、効果的な曲率情報の維持を実現する。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多い勾配差分に依存せずに、確率的最適化において信頼性のある曲率情報を抽出できるか？
• RQ2 Hessian-ベクトル積をどのように効果的に活用することで、確率的状態下で安定的かつスケーラブルな準ニュートン法を構築できるか？
• RQ3 Hessian-ベクトル積による完全なHessian近似を組み込むことで、対角的またはHessianスケーリングなしの手法と比較して、収束が速くなるか？
• RQ4 Hessian-ベクトル積の計算頻度と曲率近似の品質の最適なトレードオフは何か？
• RQ5 提案手法は、確率的設定においてグローバル収束を達成できるか？ また、1反復あたりの計算量を低く保てるか？

主な発見

• 提案手法はロビンズ＝モンローの確率的勾配降下法よりも収束が速く、曲率情報が最適化性能を顕著に向上させることを示している。
• 数値実験により、大規模な機械学習問題において、最先端の確率的準ニュートン法oLBFGSを上回る性能を発揮している。
• 定期的な間隔でのHessian-ベクトル積の使用により、勾配差分法に内在するノイズ増幅問題を回避する安定した曲率推定が実現されている。
• 標準的な仮定のもとで、強凸関数に対してグローバル収束が保証され、効果的なHessian近似のおかげで収束速度の向上が得られている。
• Hessian-ベクトル積に中程度のバッチサイズ$ b_H $と間隔$ L = 20 $を用いることで計算コストが均等に分散され、大規模問題への実用性が確保されている。
• 条件$ s_t^T y_t > 0 $が満たされる限り、非凸設定でも本手法は有効であることが示され、より広範な適用可能性が示唆されている。