[論文レビュー] Sketching as a Tool for Numerical Linear Algebra

David P. Woodruff|arXiv (Cornell University)|Nov 17, 2014

Matrix Theory and Algorithms参考文献 119被引用数 585

ひとこと要約

本稿では、ランダム射影を用いて大きな行列をより小さなスケッチに圧縮することにより、数値線形代数のアルゴリズムを高速化するスケッチ化という手法を提示する。最小二乗回帰、ロバスト回帰、低ランク近似、グラフスパース化の問題において、近似的に最適に近い性能を達成しており、誤差と実行時間の理論的保証が与えられており、多くの問題で部分線形的・多対数的時間計算量を達成している。

ABSTRACT

This survey highlights the recent advances in algorithms for numerical linear algebra that have come from the technique of linear sketching, whereby given a matrix, one first compresses it to a much smaller matrix by multiplying it by a (usually) random matrix with certain properties. Much of the expensive computation can then be performed on the smaller matrix, thereby accelerating the solution for the original problem. In this survey we consider least squares as well as robust regression problems, low rank approximation, and graph sparsification. We also discuss a number of variants of these problems. Finally, we discuss the limitations of sketching methods.

研究の動機と目的

• 回帰や低ランク近似といった古典的な数値線形代数問題を著しく高速化するスケッチに基づくアルゴリズムの開発と分析を目的とする。
• n ≫ d となる過剰に制約の強い状況において、スケッチ法の近似誤差と実行時間の理論的バウンドを提供することを目的とする。
• 特にシュターンノルムと部分空間埋め込みに関して、通信量とストリーミングの下界を用いてスケッチの限界を調査することを目的とする。
• ロバスト低ランク近似、分散計算、シュターン-1ノルムのスケッチ化における未解決問題を特定することを目的とする。
• 最近のスケッチ化の進展を統合的かつ包括的に調査し、実用的効率性と理論的厳密性の両面に重点を置くこと。

提案手法

• 入力行列 A ∈ ℝ^{n×d} を r ≪ n となる r×d の行列 S A に圧縮するためのランダム行列射影（スケッチ）を用い、主要な構造的性質を保持する。
• サブスペース埋め込みとして、サブガウス型または裾の重い分布（例：正規分布、コーシー分布、指数分布）を有する行列を用い、すべての x に対して A x の ℓ₂ および ℓ₁ ノルムを保持する。
• 最小二乗回帰における正規方程式にスケッチを適用し、A^T A を (S A)^T (S A) に置き換えることで、計算量を O(nd²) から O(rd²) に削減する。
• 適応的サンプリングと CUR 分解を用いて、スケッチによる列選択を活用し、保証された誤差バウンドを持つ低ランク近似を構築する。
• 分散およびストリーミングモデルにおいてスケッチを活用し、通信量と空間計算量を削減する。s プレイヤーの環境では O(sdk/ε) の通信量を達成する。
• 行列スケッチを用いてシュターンノルム（特に p=1 の核ノルム）を近似し、定数因子近似におけるスケッチ次元の下界を証明する。

実験結果

リサーチクエスチョン

• RQ1 高確率で部分線形時間内に (1+ε)-近似解を得るために、スケッチ化を用いて最小二乗回帰を実現できるか？
• RQ2 行列のシュターン-1ノルム（核ノルム）を定数因子で近似するための最適なスケッチ次元は何か？
• RQ3 誤差と効率性の保証が得られる形で、ℓ₁損失（L1-回帰）に対するロバスト回帰にスケッチ化を拡張可能か？
• RQ4 低ランク近似および回帰問題において、分散およびストリーミング環境におけるスケッチ化の通信量と空間計算量の下界は何か？
• RQ5 エントリごとの ℓ₁ ノルム（すなわち ∥A - Ã∥₁ ≤ (1+ε)∥A - Aₖ∥₁）の下で、ロバスト低ランク近似に対する多項式時間アルゴリズムは存在するか？

主な発見

• スケッチ化により、(1+ε)-近似最小二乗回帰を O(nnz(A) + n·poly(k/ε)) 時間で実現可能であり、古典的手法の O(nd²) より顕著に高速化される。
• ℓ₁-回帰において、コーシー分布や指数分布に従う確率的変数を用いたスケッチは、サブスペース埋め込みを提供し、効率的なサンプリングベースのソルバーを可能にする。
• 低ランク行列のフロベニウスノルムの近似には多対数的次元のスケッチで十分であり、誤差バウンドは既知の最適結果と一致する。
• 本稿では、シュターン-1ノルム（核ノルム）のスケッチ化に対して Ω(n^{1/2}) の下界を確立し、行列スケッチ制約下での改善された下界を示している。
• 分散低ランク近似に対して O(sdk/ε) の通信プロトコルを提示し、既知の Ω(sdk) の下界と対数的要因を除いて一致している。
• 本稿では、ℓ₁-低ランク近似に対する効率的アルゴリズムの存在や、分散スケッチ化における Ω(sdk/ε) の通信下界の証明といった未解決問題を特定している。