[論文レビュー] Single Pass Spectral Sparsification in Dynamic Streams

Michael Kapralov, Yin Tat Lee+3 more|arXiv (Cornell University)|Jul 4, 2014

Stochastic Gradient Optimization Techniques参考文献 23被引用数 5

ひとこと要約

この論文は、動的半ストリームモデルにおけるスペクトルスパース化のための最初の1パスアルゴリズムを提示する。$O(\frac{1}{\epsilon^2}n\cdot \mathop{\mathrm{poly}}\log n)$ の空間で、グラフの接続行列の確率的線形スケッチを用いる。高確率で、$(1\pm\epsilon)$ スペクトルスパースファイアが必要に応じて出力可能であり、従来の1パス動的スペクトルスパース化における $\Omega(\frac{1}{\epsilon^2}n^{5/3})$ の空間境界を著しく改善する。

ABSTRACT

We present the first single pass algorithm for computing spectral sparsifiers of graphs in the dynamic semi-streaming model. Given a single pass over a stream containing insertions and deletions of edges to a graph G, our algorithm maintains a randomized linear sketch of the incidence matrix of G into dimension O((1/epsilon^2) n polylog(n)). Using this sketch, at any point, the algorithm can output a (1 +/- epsilon) spectral sparsifier for G with high probability. While O((1/epsilon^2) n polylog(n)) space algorithms are known for computing "cut sparsifiers" in dynamic streams [AGM12b, GKP12] and spectral sparsifiers in "insertion-only" streams [KL11], prior to our work, the best known single pass algorithm for maintaining spectral sparsifiers in dynamic streams required sketches of dimension Omega((1/epsilon^2) n^(5/3)) [AGM14]. To achieve our result, we show that, using a coarse sparsifier of G and a linear sketch of G's incidence matrix, it is possible to sample edges by effective resistance, obtaining a spectral sparsifier of arbitrary precision. Sampling from the sketch requires a novel application of ell_2/ell_2 sparse recovery, a natural extension of the ell_0 methods used for cut sparsifiers in [AGM12b]. Recent work of [MP12] on row sampling for matrix approximation gives a recursive approach for obtaining the required coarse sparsifiers. Under certain restrictions, our approach also extends to the problem of maintaining a spectral approximation for a general matrix A^T A given a stream of updates to rows in A.

研究の動機と目的

• エッジの挿入と削除がストリームで与えられる動的半ストリームモデルにおけるスペクトルスパース化のための1パスアルゴリズムを設計すること。
• 動的スペクトルスパースファイアの空間計算量を、$\Omega(\frac{1}{\epsilon^2}n^{5/3})$ から $O(\frac{1}{\epsilon^2}n\cdot \mathop{\mathrm{poly}}\log n)$ に低減させ、カットスパースファイアの既知の最良境界に一致させること。
• 接続行列の線形スケッチを用いて、有効抵抗に基づくエッジの効率的サンプリングを可能とし、高精度なスペクトルスパースファイアの構築に不可欠なプロセスを実現すること。
• このアプローチを一般行列 $A^\top A$ のスペクトル近似を維持するための行更新ストリームに拡張すること。

提案手法

• 線形代数的演算による動的更新を可能にするために、$O(\frac{1}{\epsilon^2}n\cdot \mathop{\mathrm{poly}}\log n)$ の空間でグラフの接続行列 $\mathbf{B}$ の確率的線形スケッチを維持すること。
• 有効抵抗のサンプリングを可能にするために、グラフの粗いスペクトルスパースファイアを基盤として用いること。
• $\ell_2/\ell_2$ スパースリカバリ技術を用いて、カットスパースファイアアルゴリズムで用いられる $\ell_0$ メソッドの拡張として、有効抵抗に基づくエッジのサンプリングを実現すること。
• [MP12] の再帰的行サンプリングを活用し、ストリーミング環境下で必要な粗いスパースファイアを効率的に構築すること。
• ニーサンの擬似乱数生成器を用いて、乱数ハッシュ関数の圧縮を実現し、空間計算量を $O(n^2\log n)$ から $O(n\cdot \mathop{\mathrm{poly}}\log n)$ に低減させつつ、誤り確率を無視できるほど小さく保つこと。
• スケッチ操作がエッジの順序に依存しないように保証し、必要に応じて擬似乱数ビットを生成することで、任意の更新シーケンスに適用可能なアルゴリズムを実現すること。

実験結果

リサーチクエスチョン

• RQ1 空間計算量がカットスパースファイアと一致するように、動的半ストリームモデルにおける1パススペクトルスパースファイアを設計することは可能か？
• RQ2 動的ストリームにおいて、接続行列の線形スケッチのみを用いて、有効抵抗に基づくエッジのサンプリングは可能か？
• RQ3 $\ell_2/\ell_2$ スパースリカバリは、$\ell_0$ ベースのカットスパースファイアから拡張して、動的ストリームにおけるスペクトルスパースファイアに効果的に適用可能か？
• RQ4 擬似乱数ハッシュ関数をどのように圧縮すれば、サブ線形空間を維持しながらスケッチプロセスの正しさを保てるか？
• RQ5 このフレームワークは、同じ空間およびパス制約下で、行更新ストリームにおける任意の行列 $A^\top A$ のスペクトル近似を維持するように一般化可能か？

主な発見

• 本論文は、動的半ストリームモデルにおける最初の1パススペクトルスパースファイアを達成し、空間計算量が $O(\frac{1}{\epsilon^2}n\cdot \mathop{\mathrm{poly}}\log n)$ に抑えられ、従来の $\Omega(\frac{1}{\epsilon^2}n^{5/3})$ の境界を著しく改善した。
• アルゴリズムは、エッジの挿入・削除を動的に行うことができ、リアルタイムでのスペクトルスパースファイア構築を可能にする接続行列の線形スケッチを維持する。
• 有効抵抗のサンプリングは、$\ell_2/\ell_2$ スパースリカバリの新規応用により実現され、$\ell_0$ ベースのカットスパースファイア手法からスペクトルスパースファイアへの拡張が達成された。
• 擬似乱数生成器の使用により、乱数ハッシュ関数に必要な空間計算量を $O(n^2\log n)$ から $O(n\cdot \mathop{\mathrm{poly}}\log n)$ に低減させ、失敗確率の増加は無視できるほど小さい。
• 本アプローチは、同じ空間およびパス制約下で、行更新ストリームにおける任意の行列 $A^\top A$ のスペクトル近似を維持するように一般化可能である。
• アルゴリズムは、ストリームの任意の時点で、出力されるスペクトルスパースファイアが高確率で $(1\pm\epsilon)$-スペクトルスパースファイアであることを保証する。