[論文レビュー] Sketch and Project: Randomized Iterative Methods for Linear Systems and Inverting Matrices

Robert M. Gower|arXiv (Cornell University)|Dec 19, 2016

Stochastic Gradient Optimization Techniques参考文献 121被引用数 9

ひとこと要約

本稿は、線形方程式系の解法および行列の逆行列化を、確率的反復的手法を用いて統一的に扱うスケッチ・プロジェクションフレームワークを導入する。元の問題をより単純な部分問題にスケッチし、その解空間上に射影することで、明示的な収束速度を伴う指数的収束を達成する。これは、確率的カツマルツ法や座標降下法といった既知のアルゴリズムを一般化・改善するものであり、最適化されたサンプリングおよびブロック構造を有する新たなバージョンの導入を可能にする。

ABSTRACT

Probabilistic ideas and tools have recently begun to permeate into several fields where they had traditionally not played a major role, including fields such as numerical linear algebra and optimization. One of the key ways in which these ideas influence these fields is via the development and analysis of randomized algorithms for solving standard and new problems of these fields. Such methods are typically easier to analyze, and often lead to faster and/or more scalable and versatile methods in practice. This thesis explores the design and analysis of new randomized iterative methods for solving linear systems and inverting matrices. The methods are based on a novel sketch-and-project framework. By sketching we mean, to start with a difficult problem and then randomly generate a simple problem that contains all the solutions of the original problem. After sketching the problem, we calculate the next iterate by projecting our current iterate onto the solution space of the sketched problem.

研究の動機と目的

• 大規模線形方程式系の解法および行列の逆行列化を、確率的反復的手法を用いて統一的かつ確率論的枠組みで開発すること。
• スケッチ・プロジェクションの柔軟な定式化を通じて、確率的カツマルツ法、座標降下法、ニュートン型手法といった既存の手法を一般化・改善すること。
• 双対手法への拡張を通じて、解空間への射影を計算する手法を可能とし、分散型コンSENSUSおよびプリコンディショニングへの応用を可能にすること。
• 対称性および正定値性を保つ新しい確率的準ニュートン更新法を設計し、グローバルに指数的収束を達成すること。
• 大規模問題における収束速度の向上を図るため、反復中にサンプリング分布をチューニングする適応的バージョンを開発すること。

提案手法

• スケッチ・プロジェクション法は、元のシステムのすべての解を保持するランダムな部分問題（スケッチ）を生成し、そのスケッチ問題の解空間上に現在の反復点を射影する。
• この手法は6通りの同等な定式化で表現される：スケッチ・プロジェクション、制約・近似、ランダム交差、ランダム線形解法、ランダム更新、ランダム不動点。
• 収束は2つのパラメータによって支配される：幾何を定義する正定値行列と、各反復で独立同分布に抽出されるランダム行列。
• 双対定式化である確率的双対上昇法（SDA）は、ランダム行列の列が張る部分空間上で双対変数を更新することで、非強い凹関数を反復的に最大化する。
• 行列の逆行列化においては、古典的な準ニュートン更新（例：BFGS、DFP）の確率的ブロック版を生成し、対称性および正定値性を保つ。
• 適応的バージョンであるAdaRBFGSは、反復中にサンプリング分布を動的に変更することで収束速度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 一貫した確率的原理の下で、既知の確率的反復解法を統一的に扱うフレームワークを開発できるか？
• RQ2 スケッチ行列および幾何行列の選択が、スケッチ・プロジェクション法の収束速度にどのように影響するか？
• RQ3 スケッチ・プロジェクションフレームワークは、線形方程式系の解空間へのベクトルの射影を計算するために拡張可能か？
• RQ4 このフレームワークは、対称性や正定値性といった構造的性質を保ちながら、行列の逆行列化に適応可能か？
• RQ5 大規模問題における収束速度の向上を図るため、適応的サンプリング戦略を設計可能か？

主な発見

• スケッチ・プロジェクション法は、誤差ノルムの期待値において指数的収束を達成し、すべての特殊ケースの収束解析を統一する1つの定理で記述可能である。
• 期待される反復点は正確な公式に従って進化するため、収束速度の明確な下界が得られる。
• 確率的双対上昇法（SDA）は、最小限の仮定（システムの整合性のみ）のもとでも、ベクトルの解空間への射影に指数的速さで収束する。
• SDAの収束速度は、システム行列のランクが低下するほど向上する。これは直感に反するが、低ランク設定においては有利である。
• AdaRBFGSは、大規模問題においてニュートン・シュルツ法や標準的な近似プリコンディショニング法を、桁違いに上回る性能を発揮する。特に、単位行列から初期化された場合に顕著である。
• このフレームワークは、準ニュートン更新と近似逆行列プリコンディショニングの間の根本的な双対性を明らかにし、これら2つの手法クラスの間の新しい理論的接続を確立した。