[論文レビュー] OSNAP: Faster numerical linear algebra algorithms via sparser subspace embeddings

Jelani Nelson, Huy L. Nguyên|arXiv (Cornell University)|Nov 5, 2012

Stochastic Gradient Optimization Techniques参考文献 34被引用数 23

ひとこと要約

本稿では、埋め込み次元 $ m $ とスパarsity $ s $ の最適なトレードオフを達成することで、より高速な数値線形代数アルゴリズムを可能にする、新しいオーバーサーブスパース・ノルム近似射影（OSNAP）を提案する。$ m = \tilde{O}(d/\varepsilon^2) $ および $ s = \mathrm{polylog}(d)/\varepsilon $ を達成する最初の OSE の構成を提示しており、従来の境界を著しく改善しつつ、効率的なストリーミング応用のための $ O(1) $-wise または $ O(\log d) $-wise 独立性を維持している。

ABSTRACT

An "oblivious subspace embedding (OSE)" given some parameters eps,d is a distribution D over matrices B in R^{m x n} such that for any linear subspace W in R^n with dim(W) = d it holds that Pr_{B ~ D}(forall x in W ||B x||_2 in (1 +/- eps)||x||_2) > 2/3 We show an OSE exists with m = O(d^2/eps^2) and where every B in the support of D has exactly s=1 non-zero entries per column. This improves previously best known bound in [Clarkson-Woodruff, arXiv:1207.6365]. Our quadratic dependence on d is optimal for any OSE with s=1 [Nelson-Nguyen, 2012]. We also give two OSE's, which we call Oblivious Sparse Norm-Approximating Projections (OSNAPs), that both allow the parameter settings m = Õ(d/eps^2) and s = polylog(d)/eps, or m = O(d^{1+gamma}/eps^2) and s=O(1/eps) for any constant gamma>0. This m is nearly optimal since m >= d is required simply to no non-zero vector of W lands in the kernel of B. These are the first constructions with m=o(d^2) to have s=o(d). In fact, our OSNAPs are nothing more than the sparse Johnson-Lindenstrauss matrices of [Kane-Nelson, SODA 2012]. Our analyses all yield OSE's that are sampled using either O(1)-wise or O(log d)-wise independent hash functions, which provides some efficiency advantages over previous work for turnstile streaming applications. Our main result is essentially a Bai-Yin type theorem in random matrix theory and is likely to be of independent interest: i.e. we show that for any U in R^{n x d} with orthonormal columns and random sparse B, all singular values of BU lie in [1-eps, 1+eps] with good probability. Plugging OSNAPs into known algorithms for numerical linear algebra problems such as approximate least squares regression, low rank approximation, and approximating leverage scores implies faster algorithms for all these problems.

研究の動機と目的

• 埋め込み次元 $ m $ とスパarsity $ s $ の間の最適なトレードオフを達成する、より高速な数値線形代数アルゴリズムを設計すること。
• $ m = \tilde{O}(d/\varepsilon^2) $ および $ s = \mathrm{polylog}(d)/\varepsilon $ を達成することにより、従来の $ m = O(d^2/\varepsilon^2) $ および $ s = 1 $ の構成を改善すること。
• 効率的なターンstileストリーミングおよびその他の応用のため、$ O(1) $-wise または $ O(\log d) $-wise 独立なハッシュ関数を用いて OSE を構築すること。
• 確率的行列理論における新しい Bai-Yin 型定理を提示すること：任意の正規直交行列 $ U \in \mathbb{R}^{n \times d} $ に対して、$ \Pi U $ のすべての特異値が高確率で $ [1-\varepsilon, 1+\varepsilon] $ の範囲内にあることを証明すること。
• 新しい埋め込みを用いて、最小二乗回帰、低ランク近似、リーディングスコア推定といった基本的な数値線形代数問題を高速化すること。

提案手法

• スパースな Johnson-Lindenstrauss 行列として OSNAP を構築し、各列に $ s = 1 $ 個の非ゼロ要素を持つようにし、$ m = O(d^2/\varepsilon^2) $ を達成する。これは $ s = 1 $ の場合に最適である。
• 2つの新しい OSE の構成を導入：1つは $ m = \tilde{O}(d/\varepsilon^2) $、$ s = \mathrm{polylog}(d)/\varepsilon $、もう1つは $ m = O(d^{1+\gamma}/\varepsilon^2) $、$ s = O(1/\varepsilon) $（任意の $ \gamma > 0 $）であり、両方ともほぼ最適な $ m $ を達成する。
• ストリーミングおよび分散環境での効率的実装を可能にするために、$ O(1) $-wise または $ O(\log d) $-wise 独立なハッシュ関数を用いて埋め込み行列をサンプリングする。
• 新しい Bai-Yin 型結果を証明：任意の正規直交行列 $ U \in \mathbb{R}^{n \times d} $ に対して、$ \Pi U $ の特異値が高確率で $ [1-\varepsilon, 1+\varepsilon] $ の範囲内にあることを示し、これにより OSE の保証が裏付けられる。
• 最小二乗回帰、低ランク近似、リーディングスコア推定の既存のアルゴリズムに埋め込みを適用し、スパarsity と最適な $ m $ を活用して実行時間を短縮する。
• 行列乗算および SVD 近似技術を用い、$ O(\operatorname{nnz}(A)) $ および $ \tilde{O}(r^\omega) $ の時間計算量を達成する。ここで $ r = \mathrm{rank}(A) $ であり、$ \omega $ は行列乗算の指数である。

実験結果

リサーチクエスチョン

• RQ1 スパースな射影を用いて、$ m = \tilde{O}(d/\varepsilon^2) $ および $ s = \mathrm{polylog}(d)/\varepsilon $ を達成する、無作為な部分空間埋め込み（OSE）を構築できるか？ これは、ほぼ最適な埋め込み次元とスパースな射影を実現する。
• RQ2 任意の定数 $ \gamma > 0 $ に対して、$ m = O(d^{1+\gamma}/\varepsilon^2) $ および $ s = O(1/\varepsilon) $ を達成できるか？ また、低次元部分空間内のすべてのベクトルに対して強い集中性が保証されるか？
• RQ3 埋め込み次元 $ m = O(d^2/\varepsilon^2) $ の OSE において、最小のスパarsity $ s $ は何か？ また、最適な $ m $ を達成しつつ $ s = 1 $ を達成できるか？
• RQ4 スパースな Johnson-Lindenstrauss 行列の解析を拡張することで、確率的スパース射影に対する新しい Bai-Yin 型定理を導出できるか？
• RQ5 これらの新しい OSE は、最小二乗回帰や低ランク近似といった基本的な数値線形代数問題の実行時間をどのように改善するか？

主な発見

• 本稿では、$ m = O(d^2/\varepsilon^2) $ および $ s = 1 $ の OSE を構築し、これは $ s = 1 $ の場合に最適である。従来の $ s = 1 $ かつ $ m = O(d^2/\varepsilon^2) $ の構成を改善している。
• 2つの新しい OSE の構成を提示：1つは $ m = \tilde{O}(d/\varepsilon^2) $、$ s = \mathrm{polylog}(d)/\varepsilon $、もう1つは $ m = O(d^{1+\gamma}/\varepsilon^2) $、$ s = O(1/\varepsilon) $ であり、両方とも $ m = o(d^2) $ および $ s = o(d) $ を達成しており、これらは初めての構成である。
• OSE は $ O(1) $-wise または $ O(\log d) $-wise 独立なハッシュ関数を用いてサンプリングされ、ターンstileストリーミングおよびその他の低メモリ環境での効率的実装を可能にしている。
• 新しい Bai-Yin 型定理を証明：任意の正規直交行列 $ U \in \mathbb{R}^{n \times d} $ に対して、$ \Pi U $ のすべての特異値が高確率で $ [1-\varepsilon, 1+\varepsilon] $ の範囲内にある。これは OSE の保証の根幹をなす。
• 最小二乗回帰に OSNAP を適用すると、実行時間が $ \tilde{O}(\operatorname{nnz}(A) + r^\omega) $ に短縮され、これはほぼ最適であり、従来の $ r $ 依存性が悪いアルゴリズムを改善する。
• 低ランク近似では、$ \tilde{O}(\operatorname{nnz}(A) + nk^2 + nk^{\omega-1}\varepsilon^{-1-\omega} + k^\omega\varepsilon^{-2-\omega}) $ の時間計算量を達成し、よりスパースな埋め込みと効率的な行列演算により、従来の手法を改善している。