[論文レビュー] Fast approximation of matrix coherence and statistical leverage

Petros Drineas, Malik Magdon‐Ismail+2 more|arXiv (Cornell University)|Sep 18, 2011

Sparse and Compressive Sensing Techniques参考文献 48被引用数 171

ひとこと要約

この論文は、$ n \times d $ 行列のすべての $ n $ 個の統計的レバレッジスコアを、標準的なSVDベースの手法の $ O(nd^2) $ 時間よりも著しく高速な $ O(nd\log n / \epsilon^2) $ 時間で相対誤差近似を計算する確率的アルゴリズムを提示する。この手法は、Johnson-Lindenstrauss型のランダムプロジェクションと線形スケッチを活用し、完全なSVDを計算せずに効率的にレバレッジスコアを推定する。これにより、大規模なデータ解析や確率的行列アルゴリズムにおけるスケーラブルな計算が可能になる。

ABSTRACT

The statistical leverage scores of a matrix $A$ are the squared row-norms of the matrix containing its (top) left singular vectors and the coherence is the largest leverage score. These quantities are of interest in recently-popular problems such as matrix completion and Nyström-based low-rank matrix approximation as well as in large-scale statistical data analysis applications more generally; moreover, they are of interest since they define the key structural nonuniformity that must be dealt with in developing fast randomized matrix algorithms. Our main result is a randomized algorithm that takes as input an arbitrary $n imes d$ matrix $A$, with $n \gg d$, and that returns as output relative-error approximations to all $n$ of the statistical leverage scores. The proposed algorithm runs (under assumptions on the precise values of $n$ and $d$) in $O(n d \log n)$ time, as opposed to the $O(nd^2)$ time required by the naïve algorithm that involves computing an orthogonal basis for the range of $A$. Our analysis may be viewed in terms of computing a relative-error approximation to an underconstrained least-squares approximation problem, or, relatedly, it may be viewed as an application of Johnson-Lindenstrauss type ideas. Several practically-important extensions of our basic result are also described, including the approximation of so-called cross-leverage scores, the extension of these ideas to matrices with $n \approx d$, and the extension to streaming environments.

研究の動機と目的

• 大規模な行列における統計的レバレッジスコアを高速かつスケーラブルに近似するアルゴリズムの開発。これは、行列補完や低ランク近似において重要である。
• レバレッジスコアの計算コストを $ O(nd^2) $ から $ O(nd\log n / \epsilon^2) $ に低減させ、大規模なデータ解析における実用的利用を可能にする。
• ストリーミングおよび分散環境へのアルゴリズムの拡張により、リアルタイムまたはメモリ効率の良い計算をサポートする。
• 相対誤差近似をコヒーレンスおよびクロス・レバレッジスコアに適用し、確率的行列アルゴリズムにおける重要な構造的性質を提供する。
• レバレッジスコアに比例した行列の行を効率的にサンプリングするための手法を提供し、行列スケッチや回帰などの応用に活用できる。

提案手法

• アルゴリズムはランダムプロジェクション行列 $ \Pi $ と線形スケッチ行列 $ T $ を用い、入力行列 $ A $ を圧縮し、レバレッジスコアに関連する行ノルムを保持する。
• データを1回のパスで $ TA $ と $ \Pi A $ を計算し、その後 $ R^{-1} $ を用いた変換を施して近似レバレッジスコアを回復する。
• この手法は、左特異ベクトル行列 $ U $ の行の $ \ell_2 $-ノルムを $ (1\pm\epsilon) $ 要因の範囲で保持するJohnson-Lindenstrauss型埋め込みに依存している。
• レバレッジスコアは、$ \|U_{(i)}\|_2^2 $ に比例する確率で行をサンプリングする $ \ell_2 $-サンプリング技術を介して推定され、高レバレッジ行の効率的同定を可能にする。
• ストリーミング応用では、$ F_p $-ノルム推定とレバレッジスコア分布のエントロピー近似をサポートするスケッチ行列が使用される。
• アルゴリズムは、コヒーレンス（最大レバレッジスコア）、クロス・レバレッジスコア、およびレバレッジスコア分布のエントロピーを、少量のメモリと1回のパスで推定可能に拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 相対誤差保証を維持したまま、$ o(nd^2) $ 時間で統計的レバレッジスコアを近似できるか？
• RQ2 完全なSVDを計算せずに、Johnson-Lindenstrauss型ランダムプロジェクションをどのようにしてレバレッジスコアを推定するために用いるか？
• RQ3 ストリーミング環境でレバレッジスコアを近似するための最小限のメモリとパスの複雑度は何か？
• RQ4 このアルゴリズムをコヒーレンス、クロス・レバレッジスコア、およびレバレッジスコア分布のエントロピーの推定に拡張できるか？
• RQ5 線形スケッチを用いて、レバレッジスコアに比例した効率的な行サンプリングをどのように達成できるか？

主な発見

• 提案されたアルゴリズムは、すべての $ n $ 個のレバレッジスコアを $ O(nd\log n / \epsilon^2) $ 時間で相対誤差近似し、標準的なSVDベース手法の $ O(nd^2) $ 時間よりも顕著に高速である。
• 同じ時間計算量で、コヒーレンス（最大レバレッジスコア）の相対誤差近似も達成される。
• $ O(sd\epsilon^{-2}\log^4 n) $ ビットのメモリを用いて、$ s $ 個のレバレッジスコアに比例する行サンプルを1パスでストリーミング計算が可能である。
• レバレッジスコア分布のエントロピーは、$ O(d\epsilon^{-4}\log^6 n\log^{14}(1/\epsilon)) $ ビットのメモリで、加法的 $ \epsilon $ の誤差で近似可能である。
• $ O(d\tau^{-1}\epsilon^{-2}\log^3 n\log \tau^{-1}) $ 行のスケッチを用いて、高レバレッジ行（$ \|U_{(i)}\|_2^2 \geq \tau\|U\|_F^2 $ を満たす行）の効率的同定が可能である。
• このアプローチはランク不足の行列に対してもロバストであり、$ n \approx d $ の場合にも自然に拡張可能であるが、数値的安定性に関する考察は今後の課題として残されている。