[論文レビュー] Sketches for Matrix Norms: Faster, Smaller and More General.

Vladimir Braverman, Stephen R. Chestnut+2 more|arXiv (Cornell University)|Sep 19, 2016

Stochastic Gradient Optimization Techniques被引用数 3

ひとこと要約

本稿では、現代的なJohnson-Lindenstraussに基づく次元削減を用いて、ユニタリに不変な行列ノルム（シュタイン $p$-ノルムを含む）のための、より高速で小さく、より一般的なスケッチアルゴリズムを導入する。$p \to 2$ に対して最適な空間計算量を達成し、内因的次元に依存する埋め込みを用いて部分線形のスケッチサイズを実現し、$O(1)$ の更新時間と改善されたクエリパフォーマンスを実現するストリーミング近似を可能にする。

ABSTRACT

We design new sketching algorithms for unitarily invariant matrix norms, including the Schatten $p$-norms~$\|{\cdot}\|_{S_p}$, and obtain, as a by-product, streaming algorithms that approximate the norm of a matrix $A$ presented as a turnstile data stream. The primary advantage of our streaming algorithms is that they are simpler and faster than previous algorithms, while requiring the same or less storage. Our three main results are a faster sketch for estimating $\|{A}\|_{S_p}$, a smaller-space $O(1)$-pass sketch for $\|{A}\|_{S_p}$, and more general sketching technique that yields sublinear-space approximations for a wide class of matrix norms. These improvements are powered by dimensionality reduction techniques that are modern incarnations of the Johnson-Lindenstrauss Lemma~\cite{JL84}. When $p\geq 2$ is even or $A$ is PSD, our fast one-pass algorithm approximates $\|{A}\|_{S_p}$ in optimal, $n^{2-4/p}$, space with $O(1)$ update time and $o(n^{2.4(1-2/p)})$ time to extract the approximation from the sketch, while the $\lceil p/2 ceil$-pass algorithm is built on a smaller sketch of size $n^{1-1/(p-1)}$ with $O(1)$ update time and $n^{1-1/(p-1)}$ query time. Finally, for a PSD matrix $A$ and a unitarily invariant norm $l(\cdot)$, we prove that one can obtain an approximation to $l(A)$ from a sketch $GAH^T$ where $G$ and $H$ are independent Oblivious Subspace Embeddings and the dimension of the sketch is polynomial in the intrinsic dimension of $A$. The intrinsic dimension of a matrix is a robust version of the rank that is equal to the ratio $\sum_i\sigma_i/\sigma_1$. It is small, e.g., for models in machine learning which consist of a low rank matrix plus noise. Naturally, this leads to much smaller sketches for many norms.

研究の動機と目的

• ユニタリに不変な行列ノルム（シュタイン $p$-ノルムを含む）を近似するための、より単純で高速なストリーミングアルゴリズムの設計。
• 更新時間の効率を維持または向上させながら、$O(1)$ パassおよびマルチパスのストリーミング設定における空間使用量の削減。
• 内因的次元を複雑さのパラメータとして用いることで、$p$-ノルムを超える広範なクラスの行列ノルムへのスケッチ技法の一般化。
• 次元削減を用いて、$p \geq 2$ が偶数の場合や正定値行列の場合に、$\|A\|_{S_p}$ に対して最適な空間計算量を達成。
• スケッチサイズが行列のランクではなく内因的次元の多項式に依存することを示し、低ランク＋ノイズモデルにおいてより小さなスケッチを可能にする。

提案手法

• 行列スケッチにおける次元削減に、現代的なJohnson-Lindenstrauss補題の変種を活用する。
• 独立な $G$ および $H$ を用いた $GAH^T$ 形式のスケッチを構築するため、Oblivious Subspace Embeddings (OSES) を用いる。
• スケッチサイズの上限を求めるために、行列の内因的次元（$\sum_i \sigma_i / \sigma_1$ として定義）を複雑さの指標として用いる。
• $p \geq 2$ が偶数または $A$ が正定値の場合に、$\|A\|_{S_p}$ のための $O(1)$ 更新時間と $o(n^{2.4(1-2/p)})$ クエリ時間を持つ1パスアルゴリズムを設計。
• $\lceil p/2 \rceil$ パスアルゴリズムを構築し、スケッチサイズを $n^{1-1/(p-1)}$ に、更新／クエリ時間ともに $O(1)$ に保つ。
• 正定値行列に対して任意のユニタリに不変なノルム $l(A)$ を近似するために、スケッチ $GAH^T$ を適用し、その次元を行列の内因的次元の多項式に保つ。

実験結果

リサーチクエスチョン

• RQ1 $O(1)$ の更新時間を持つストリーミング設定において、$\|A\|_{S_p}$ の最適な空間計算量を達成できるか？
• RQ2 $\|A\|_{S_p}$ の正確性を維持しながら、スケッチサイズを $n^{1-1/(p-1)}$ 未満に削減できるか？
• RQ3 シュタイン $p$-ノルムを超えて、より広範なクラスのユニタリに不変な行列ノルムへのスケッチを一般化できるか？
• RQ4 内因的次元は、従来のランクよりもスケッチサイズの上限をタイトに制御できるか？
• RQ5 OSEに基づくスケッチを用いて、行列ノルムの部分線形空間近似を達成できるか？

主な発見

• 1パスアルゴリズムは、$p \geq 2$ が偶数または $A$ が正定値の場合に、$n^{2-4/p}$ の空間で $\|A\|_{S_p}$ を近似し、$O(1)$ の更新時間と $o(n^{2.4(1-2/p)})$ のクエリ時間を持つ。
• $\lceil p/2 \rceil$ パスアルゴリズムは、スケッチサイズ $n^{1-1/(p-1)}$ と $O(1)$ の更新／クエリ時間を持つ。
• 正定値行列および任意のユニタリに不変なノルム $l(\cdot)$ に対して、スケッチ $GAH^T$ は $A$ の内因的次元の多項式次元で $l(A)$ の近似を提供する。
• 内因的次元 $\sum_i \sigma_i / \sigma_1$ が、特に低ランク＋ノイズモデルにおいて、スケッチサイズの制御に頑健で効果的な指標であることが示された。
• 提案されたスケッチフレームワークは、$p \geq 2$ が偶数の場合に $\|A\|_{S_p}$ に対して最適な空間計算量を達成し、既知の下界と一致する。
• 本手法は $p$-ノルムを超えて一般化され、内因的次元に依存する埋め込みを用いて、広範なクラスの行列ノルムの部分線形空間近似を可能にする。