[論文レビュー] Stochastic quasi-Newton with adaptive step lengths for large-scale problems

Adrian Wills, Thomas B. Schön|arXiv (Cornell University)|Feb 12, 2018

Stochastic Gradient Optimization Techniques参考文献 37被引用数 4

ひとこと要約

本稿では、補助変数の構成と後退履歴に基づく逆ヘッセ行列近似を用いて曲率情報を活用することで、大規模最適化のための確率的準ニュートン法と適応的ステップサイズを提案する。実世界の数百万のデータポイントと未知数を含む問題において、効率的な2次更新と確率的ラインサーチの適応により、最先端の手法を上回るロバストで高速な収束を達成する。

ABSTRACT

We provide a numerically robust and fast method capable of exploiting the local geometry when solving large-scale stochastic optimisation problems. Our key innovation is an auxiliary variable construction coupled with an inverse Hessian approximation computed using a receding history of iterates and gradients. It is the Markov chain nature of the classic stochastic gradient algorithm that enables this development. The construction offers a mechanism for stochastic line search adapting the step length. We numerically evaluate and compare against current state-of-the-art with encouraging performance on real-world benchmark problems where the number of observations and unknowns is in the order of millions.

研究の動機と目的

• 数百万のデータポイントと未知数を有する大規模な確率的非凸最適化問題に対して、数値的に安定的かつ高速な最適化手法の開発。
• 限られた履歴における反復点と勾配の組み合わせから得られる逆ヘッセ行列近似を用いて、局所的な曲率情報を活用する。
• マルコフ連鎖フレームワーク内での確率的ラインサーチメカニズムにより、ステップサイズの適応的選択を可能にする。
• ミニバッチサイズ、メモリサイズ、正則化係数の3つのパラメータのみを必要とすることで、ユーザーによるチューニングの複雑さを低減する。
• 逆ヘッセ行列近似の更新にコレスキー更新戦略を用いることで、計算効率と数値的安定性を確保する。

提案手法

• 拡張されたマルコフ連鎖を構築するために補助変数のテクニックを導入し、確率的最適化における曲率に配慮した更新を可能にする。
• 過去の反復点と確率的勾配の移動ウィンドウを用いて逆ヘッセ行列近似を計算することで、低メモリかつ低計算コストを実現する。
• 曲率と進行状況に基づいて動的にステップサイズを調整する確率的ラインサーチを採用し、初期段階の収束を向上させる。
• 逆ヘッセ行列近似の更新時にコレスキー因子の更新を用いることで、数値的安定性と計算効率を維持する。
• 準ニュートン更新式 $ x_{k+1} = x_k - \alpha_k H_k g_k $ を適用する。ここで $ H_k $ は曲率に適応するスケーリング行列であり、$ \alpha_k $ は適応的ステップサイズである。
• 確率的勾配法のマルコフ連鎖の性質を活用し、安定的で曲率を反映した最適化経路の構築を可能にする。

実験結果

リサーチクエスチョン

• RQ1 反復点と勾配の後退履歴から得られる曲率情報は、大規模な確率的最適化において、収束性の向上に有効に利用できるか？
• RQ2 適応的ステップサイズは、特に初期段階において、確率的準ニュートン法の性能を向上させるためにどのように統合できるか？
• RQ3 ノイズの多い勾配評価が伴う高次元設定において、数値的に安定的かつ計算効率の良い逆ヘッセ行列近似を維持できるか？
• RQ4 提案手法は、実世界の大規模な最適化問題において、既存の最先端の確率的最適化アルゴリズムを上回る性能を示すか？
• RQ5 補助変数の構成により、確率的非凸最適化フレームワークにおいて2次情報がどの程度効果的に利用可能になるか？

主な発見

• 提案手法は、最大数百万のデータポイントと未知数を有する実世界のベンチマーク問題において、基本的な確率的勾配法やAdamを上回る収束速度と精度を達成する。
• 適応的ステップサイズメカニズムにより、標準的な確率的勾配法で見られるコスト関数の上昇が著しく抑制され、初期段階の収束が顕著に向上する。
• 限られた履歴における反復点と勾配を用いて計算される逆ヘッセ行列近似は、データサイズに線形にスケーリングされ、コレスキー更新により数値的安定性を維持する。
• 本手法はミニバッチサイズ、メモリサイズ、正則化係数の3つのユーザーが調整可能なパラメータのみを必要とし、チューニングの複雑さが著しく低減されている。
• 数値実験の結果、本手法はロバストで効率的であり、500個の粒子を用いた尤度推定でさえ、標準ラップトップで1回のシミュレーションが8秒以内に収まる。
• 極限において $ \rho = 0 $ かつステップサイズが減少する場合、本手法は確率的勾配法に帰着するが、適応的制御のおかげで初期段階の挙動が改善される。