[論文レビュー] Stochastic Newton and Quasi-Newton Methods for Large Linear Least-squares Problems

Julianne Chung, Matthias Chung+2 more|arXiv (Cornell University)|Feb 23, 2017

Machine Learning and ELM参考文献 36被引用数 8

ひとこと要約

本稿では、乱数行列を用いたランダムサンプリングを用いて問題を確率的最適化問題に再定式化することにより、大規模な線形最小二乗問題に対する確率的ニュートン法および準ニュートン法を提案する。確率的準ニュートン反復は、真の最小二乗解へのほとんど確実な収束を証明している一方、不整合系では確率的ニュートン反復が望ましい解に収束しない可能性があることを示している。

ABSTRACT

We describe stochastic Newton and stochastic quasi-Newton approaches to efficiently solve large linear least-squares problems where the very large data sets present a significant computational burden (e.g., the size may exceed computer memory or data are collected in real-time). In our proposed framework, stochasticity is introduced in two different frameworks as a means to overcome these computational limitations, and probability distributions that can exploit structure and/or sparsity are considered. Theoretical results on consistency of the approximations for both the stochastic Newton and the stochastic quasi-Newton methods are provided. The results show, in particular, that stochastic Newton iterates, in contrast to stochastic quasi-Newton iterates, may not converge to the desired least-squares solution. Numerical examples, including an example from extreme learning machines, demonstrate the potential applications of these methods.

研究の動機と目的

• データがメモリ容量を超えるか、リアルタイムで収集されるような大規模な線形最小二乗問題の解法における計算負荷を軽減すること。
• 標準的な反復解法における A および A^T との繰り返し行列-ベクトル積の高コストを克服すること。
• 完全な問題を効率的に近似するため、ランダムサンプリング行列を活用する確率的最適化フレームワークの構築。
• 確率的準ニュートン法の理論的収束保証を確立し、確率的ニュートン法の限界を特定すること。
• サンプリング行列のスパarsityと構造を活用することで、大規模問題の効率的解法を可能にすること。

提案手法

• E[WW^T] = βI_m を満たすランダム行列 W を用いて、最小二乗問題を確率的最適化問題に再定式化する。
• 期待値が元の最小二乗目的関数に等しくなるように、f_W(x) = (1/(2β)) ||W^T(Ax - b)||^2 を定義する。
• 標本平均近似（SAA）の代わりに、逐次的更新を用いる確率的近似（SA）を用い、新たなランダムサンプルで解を反復的に更新する。
• サンプルされた W 行列に基づく確率的ヘッセ行列近似を用いる確率的ニュートン法を提案する。
• 過去のサンプルと再帰的更新を用いて逆ヘッセ行列近似を保持・更新する確率的準ニュートン法を開発する。
• H_k A を射影行列として機能させる射影に基づく更新スキームを導入し、安定性と収束性を確保する。

実験結果

リサーチクエスチョン

• RQ1 大規模な不整合線形系において、確率的ニュートン法は真の最小二乗解に収束することができるか？
• RQ2 確率的準ニュートン法がほとんど確実に最小二乗解に収束する条件は何か？
• RQ3 スパースかつ構造的サンプリング行列の使用は、確率的最適化法の収束性と計算効率にどのように影響するか？
• RQ4 最小二乗問題の文脈において、確率的ニュートン法と確率的準ニュートン法の理論的限界を比較するとどうなるか？
• RQ5 サンプルされたデータからの曲率情報は、大規模問題の反復解法に効率的に統合可能か？

主な発見

• 標準的な仮定の下で、確率的準ニュートン反復は、不整合系であっても真の最小二乗解へのほとんど確実な収束を示す。
• 不整合系では、確率的ニュートン反復が望ましい解に収束しない可能性があり、関連する別の問題の解に収束する。
• 収束条件 ∑α_k = ∞ および ∑α_k² < ∞ の下で、確率的準ニュートン法の収束が保証され、誤差 e_k はほとんど確実にゼロに収束する。
• 確率的準ニュートン法における逆ヘッセ行列近似は、過去のすべてのサンプルからの情報を統合する再帰的スキームにより、効率的に更新される。
• スパースな W 行列の実装を用いることで、行列-ベクトル積のコストが削減され、計算効率が向上する。
• 数値実験（極端な学習マシンからの例も含む）により、提案手法が標準的ソルバーに対して実用的かつ性能向上を示している。