[論文レビュー] Stochastic Block BFGS: Squeezing More Curvature out of Data

Robert M. Gower, Donald Goldfarb+1 more|arXiv (Cornell University)|Mar 31, 2016

Stochastic Gradient Optimization Techniques参考文献 34被引用数 10

ひとこと要約

本稿では、ヘシアン近似からのより豊かな曲率情報を抽出するためにスケッチを用いることで、確率的最適化を向上させる、新しい制限記憶 quasi-Newton 法である Stochastic Block BFGS を提案する。以前の逆ヘシアン推定値をランダムな低ランク行列で定義されるスケッチされた解空間に投影することにより、線形収束を達成し、大規模なロジスティック回帰問題において最先端の手法を上回る性能を発揮する。

ABSTRACT

We propose a novel limited-memory stochastic block BFGS update for incorporating enriched curvature information in stochastic approximation methods. In our method, the estimate of the inverse Hessian matrix that is maintained by it, is updated at each iteration using a sketch of the Hessian, i.e., a randomly generated compressed form of the Hessian. We propose several sketching strategies, present a new quasi-Newton method that uses stochastic block BFGS updates combined with the variance reduction approach SVRG to compute batch stochastic gradients, and prove linear convergence of the resulting method. Numerical tests on large-scale logistic regression problems reveal that our method is more robust and substantially outperforms current state-of-the-art methods.

研究の動機と目的

• 単一のヘシアン・ベクター積しか使用しない古典的な確率的 quasi-Newton 法が、不十分な曲率情報を捉えているという制限を解決する。
• ランダムなスケッチを用いて複数の曲率方向を活用する、より柔軟で情報量の多い逆ヘシアン更新メカニズムを構築する。
• 高次元データにおける大規模な経験的リスク最小化（ERM）問題のための効率的かつスケーラブルな最適化を可能にする。
• 新しいブロック BFGS 更新を、勾配の分散低減手法（例：SVRG）と統合することで、標準的な仮定の下で線形収束を達成する。
• 大規模なロジスティック回帰タスクにおいて、既存の確率的 L-BFGS や SVRG 手法と比較して、優れたロバスト性と収束速度を示す。

提案手法

• 確率的ブロック BFGS 更新を提案し、$ H_t $ を、$ T $ をデータのランダムサブセットとするヘシアン行列 $ \nabla^2 f_T(x_t) $ のスケッチを用いて推定する。
• 射影に基づく更新を実装：$ H_t $ は、前回の推定値 $ H_{t-1} $ を、$ H_t \nabla^2 f_T(x_t) D_t = D_t $ を満たす対称行列の集合に射影することで更新される。ここで $ D_t \in \mathbb{R}^{d \times q} $ は $ q \ll d $ のランダムなスケッチ行列である。
• ヘシアン・ベクター積による $ q $ 個の方向微分を用いて、スケッチ $ \nabla^2 f_T(x_t) D_t $ を効率的に計算し、完全なヘシアンの計算と保存を回避する。
• 最近の $ M $ 個のブロック三つ組 $ (D_i, Y_i, \Delta_i) $ のみを保存する制限記憶バージョンを導入することで、大規模問題におけるメモリ効率を実現する。
• ブロック BFGS 更新を SVRG の分散低減フレームワークと統合し、標準的な仮定の下で線形収束を達成する。
• Sherman-Morrison-Woodbury の恒等式を用いて、逆ヘシアン近似の閉形式更新を導出し、正定値性と数値的安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 スケッチを用いて複数の曲率方向を用いる確率的 quasi-Newton 法が、古典的な確率的 L-BFGS 手法よりも収束速度とロバスト性で優れているか？
• RQ2 逆ヘシアン方程式 $ H \nabla^2 f_T(x) = I $ のスケッチ版を組み込むことで、単一のヘシアン・ベクター積を使用する場合と比較して、より良好な条件数のメトリック行列が得られるか？
• RQ3 提案されたブロック BFGS 更新が、SVRG と組み合わせられることで、高次元データを伴う大規模な ERM 問題において線形収束を達成できるか？
• RQ4 大規模なロジスティック回帰タスクにおいて、Stochastic Block BFGS の性能は、SVRG や L-BFGS-SVRG といった最先端手法と比較してどうなるか？
• RQ5 スケッチが、逆ヘシアン近似の条件数および固有値スペクトル的性質に与える理論的影響は何か？

主な発見

• 標準的な仮定（強い凸性と有界なヘシアン変動）の下で、SVRG フレームワークと組み合わせた本手法は線形収束を達成する。
• 大規模なロジスティック回帰問題において、標準的な SVRG や L-BFGS-SVRG と比較して、著しく優れた収束速度とロバスト性を示す。
• 数値実験により、従来の L-BFGS よりもブロック BFGS 更新がより多くの曲率情報を効果的に捉え、収束を速めるとともにメトリック行列の条件数を改善していることが示された。
• 理論的分析により、逆ヘシアン推定値が良好に条件付けられていることが確認され、$ \|H_t\|_2 \leq (1 + \sqrt{\kappa})^{2M} \left( \|H_{t-M}\| + \frac{1}{\lambda(2\sqrt{\kappa} + \kappa)} \right) $ を満たす。ここで $ \kappa $ はヘシアンの条件数である。
• 各イテレーションで $ q \ll d $ 個の方向微分のみを用いるため、高次元問題へのスケーラビリティを維持する計算効率性を保っている。
• スケッチの使用により、最小限の追加計算コストで、単一ベクトル BFGS 更新よりも精度の高い逆ヘシアン近似が得られる。