[論文レビュー] Simple and Deterministic Matrix Sketching

Edo Liberty|arXiv (Cornell University)|Jun 4, 2012

Stochastic Gradient Optimization Techniques参考文献 11被引用数 7

ひとこと要約

本論文は、行列の行を1行ずつ処理する決定的でストリーミング可能な行列スケッチアルゴリズムであるFrequent-Directionsを紹介する。このアルゴリズムは、任意の単位ベクトル $ x $ に対して、$ Ax $ と $ Bx $ のノルムの二乗の差が $ \varepsilon \|A\|_F^2 $ 以内に収まるように、$ B \in \mathbb{R}^{1/\varepsilon \times m} $ というスケッチ行列を維持する。この方法は、Frequent-Itemsアルゴリズムに類似した方法で、スケッチから直交するベクトルを適応的に削除することで、ランダム化された代替手法と比較して優れた精度と競争力のある実行時間の両方を達成する。

ABSTRACT

We adapt a well known streaming algorithm for approximating item frequencies to the matrix sketching setting. The algorithm receives the rows of a large matrix $A \in \R^{n imes m}$ one after the other in a streaming fashion. It maintains a sketch matrix $B \in \R^ {1/\eps imes m}$ such that for any unit vector $x$ [\|Ax\|^2 \ge \|Bx\|^2 \ge \|Ax\|^2 - \eps \|A\|_{f}^2 \.] Sketch updates per row in $A$ require $O(m/\eps^2)$ operations in the worst case. A slight modification of the algorithm allows for an amortized update time of $O(m/\eps)$ operations per row. The presented algorithm stands out in that it is: deterministic, simple to implement, and elementary to prove. It also experimentally produces more accurate sketches than widely used approaches while still being computationally competitive.

研究の動機と目的

• 大規模なストリーミングデータに適した単純で決定的な行列スケッチアルゴリズムの開発を目的とする。
• すべての単位ベクトル $ x $ に対して、$ \|Ax\|^2 $ の近似において相対誤差を $ \varepsilon \|A\|_F^2 $ 以内に保証することを目的とする。
• 各行の更新における計算コストを低く抑えつつ、理論的正しさと実用的精度を確保することを目的とする。
• 複雑なランダム化または反復的手法とは対照的に、実装が簡単で理論的にも正しい手法を提供することを目的とする。

提案手法

• 行列の行をストリーム要素として扱うことで、ストリーミング頻度推定のFrequent-Itemsアルゴリズムを行列スケッチに応用する。
• 入力行列 $ A $ の圧縮表現を格納するスケッチ行列 $ B \in \mathbb{R}^{1/\varepsilon \times m} $ を維持する。
• 誤差の増大を制御するため、定期的にスケッチから $ 1/\varepsilon $ 個の直交するベクトルを削除するトリミング手順を用いる。
• 決定的な削除メカニズムにより、すべての単位ベクトル $ x $ に対して $ \|Ax\|^2 $ の誤差が $ \varepsilon \|A\|_F^2 $ 以内に抑えられることを保証する。
• 各行あたりの最悪実行時間は $ O(m/\varepsilon^2) $ であり、変種を用いることで平均化により $ O(m/\varepsilon) $ に改善される。
• スケッチは、行列のグラミアン $ A^T A $ のフロベニウスノルムをわずかな加法的誤差まで保持するため、低ランク近似の品質が保証される。

実験結果

リサーチクエスチョン

• RQ1 ランダム化手法と同等またはそれを上回る精度を達成できる決定的でストリーミング可能な行列スケッチアルゴリズムを設計することは可能か？
• RQ2 Frequent-Itemsのアイテム頻度推定技術をどのように行列スケッチの文脈に一般化できるか？
• RQ3 ストリーミング行列スケッチにおいて、計算効率と近似精度のトレードオフはどのようなものか？
• RQ4 複雑なランダム射影やサンプリングを必要としない、単純で基本的なアルゴリズムが、競争力のある性能を達成できるか？

主な発見

• Frequent-Directionsは、すべての単位ベクトル $ x $ に対して $ \|Ax\|^2 $ の相対誤差を $ \varepsilon \|A\|_F^2 $ 以内に抑え、スケッチサイズが $ 1/\varepsilon \times m $ である。
• スケッチサイズと信号対雑音比のすべてのテスト条件下で、3つのランダム化手法（ランダム射影、ハッシング、サンプリング）を精度面で上回る。
• スケッチサイズ $ \ell = 150 $ の場合、Frequent-Directionsは最高の精度を達成し、信号次元 $ d = 50 $ およびパラメータ $ c = 1/3 $ と整合的である。
• 実行時間はスケッチサイズ $ \ell $ に対して線形に依存し、平均化された更新コストは各行あたり $ O(m/\varepsilon) $ である。
• 決定的更新を用いていながらも、実行時間で競争力を持ち、ランダム化代替手法と比較して著しく高い精度を発揮する。
• Frequent-Directionsの理論的最悪ケース誤差境界は、常にランダム化手法の実測性能よりもきついが、大きなスケッチサイズでは境界がきつくない。