[論文レビュー] Randomized Quasi-Newton Updates are Linearly Convergent Matrix Inversion Algorithms

Robert M. Gower, Peter Richtárik|arXiv (Cornell University)|Feb 4, 2016

Stochastic Gradient Optimization Techniques参考文献 31被引用数 13

ひとこと要約

本稿は、明示的な収束速度を伴う線形収束を示す、行列逆行列化のための確率的準ニュートンアルゴリズムの族を導入する。古典的な準ニュートン更新（例：BFGS、DFP）の最初の確率的ブロックバージョンを提示し、グローバルな線形収束を確立する。大規模問題においては、適応的サンプリングが性能を向上させる。

ABSTRACT

We develop and analyze a broad family of stochastic/randomized algorithms for inverting a matrix. We also develop specialized variants maintaining symmetry or positive definiteness of the iterates. All methods in the family converge globally and linearly (i.e., the error decays exponentially), with explicit rates. In special cases, we obtain stochastic block variants of several quasi-Newton updates, including bad Broyden (BB), good Broyden (GB), Powell-symmetric-Broyden (PSB), Davidon-Fletcher-Powell (DFP) and Broyden-Fletcher-Goldfarb-Shanno (BFGS). Ours are the first stochastic versions of these updates shown to converge to an inverse of a fixed matrix. Through a dual viewpoint we uncover a fundamental link between quasi-Newton updates and approximate inverse preconditioning. Further, we develop an adaptive variant of randomized block BFGS, where we modify the distribution underlying the stochasticity of the method throughout the iterative process to achieve faster convergence. By inverting several matrices from varied applications, we demonstrate that AdaRBFGS is highly competitive when compared to the well established Newton-Schulz and minimal residual methods. In particular, on large-scale problems our method outperforms the standard methods by orders of magnitude. Development of efficient methods for estimating the inverse of very large matrices is a much needed tool for preconditioning and variable metric optimization methods in the advent of the big data era.

研究の動機と目的

• 非常に大きな行列の逆行列を効率的に反復的に求める方法を開発すること。特に、直接法が非現実的となるビッグデータ時代においてはこれが重要である。
• 行列逆行列化における古典的準ニュートン更新の確率的バージョンの欠落に対処すること。
• 真の逆行列への収束を保証するとともに、行列の構造（対称性、正定値性）を保存すること。
• 実用的な収束速度の向上を目的とした、適応的サンプリング戦略の設計。
• 確率的行列逆行列化アルゴリズムに対して、明示的な収束速度を伴う理論的収束保証を確立すること。

提案手法

• 行列逆行列化をスケッチ＆プロジェクションまたは制約＆近似の最適化問題として定式化し、確率的反復更新を導く。
• ランダムな部分空間またはベクトルをサンプリングすることで、準ニュートン法（例：BFGS、DFP、PSB）に確率的ブロック更新を導入する。
• 双対的視点を用いて、準ニュートン更新と近似逆行列プリコンディショナリングの間の根本的関係を明らかにする。
• 一般のサンプリング分布の下で、誤差の期待ノルムと期待誤差のノルムを分析することで収束速度を導出する。
• 収束速度の上界を最小化するようにサンプリング分布を最適化し、より速い収束を実現するための重要度サンプリングを可能にする。
• 反復中にサンプリング分布を変更することで収束を加速する、AdaRBFGSと呼ばれる適応的バージョンを開発する。

実験結果

リサーチクエスチョン

• RQ1 確率的準ニュートン更新を、明示的な収束速度を伴うグローバル収束行列逆行列化アルゴリズムとして定式化できるか？
• RQ2 準ニュートン更新と近似逆行列プリコンディショナリングの間には、理論的にどのような関係があるか？
• RQ3 古典的準ニュートン法（例：BFGS、DFP）の確率的ブロックバージョンが、真の逆行列へ線形収束するかどうかを示せるか？
• RQ4 適応的サンプリング戦略は、大規模行列逆行列化における収束速度をどのように向上させられるか？
• RQ5 提案手法は、実世界の行列において、ニュートン＝シュルツ法や最小残差（MR）法といった既存手法と比べて実際の性能でどのように差がつくか？

主な発見

• 提案された確率的準ニュートン法は、グローバルかつ線形に収束し、行列の条件数に依存する明示的な収束速度を有する。
• BFGS、DFP、PSB、BB、GBの確率的ブロックバージョンを導入し、固定された行列の真の逆行列への収束を証明した。
• AdaRBFGSは、20,958×20,958の行列を含むreal-simデータセットからの大規模行列において、ニュートン＝シュルツ法や最小残差法を桁違いに上回る性能を発揮した。
• real-sim問題においては、他の手法が失敗するか、実行不可能なほど遅いのに対し、AdaRBFGSのみが合理的な時間と計算コストで行列を逆行列化することに成功した。
• スケッチ＆プロジェクションと制約＆近似の視点の間の同等性は、準ニュートン法と近似逆行列プリコンディショナリングの間の深い理論的関係を示している。
• 収束速度の上界を最小化する最適および適応的サンプリング分布を導出し、実用的な収束速度の向上に寄与した。