[論文レビュー] A Near-Optimal Algorithm for L1-Difference

Jelani Nelson, David P. Woodruff|ArXiv.org|Apr 13, 2009

graph theory and CDMA systems参考文献 24被引用数 3

ひとこと要約

この論文は、$\varepsilon$ に依存しない $O(n\log^2(nM))$ 時間で、$O(\varepsilon^{-2}\log(1/\varepsilon)\log(nM))$ ビットのスケッチを達成する近似的に最適な $L_1$-差分スケッチ化アルゴリズムを提示する。2006年のIITKデータストリームワークショップにおける最初の未解決問題を解決する。2点間の独立なハッシュ関数と特化した推定手順を組み合わせることで、最適なスケッチサイズを維持しながら近似的線形時間でのスケッチ化を実現する。

ABSTRACT

We give the first L_1-sketching algorithm for integer vectors which produces nearly optimal sized sketches in nearly linear time. This answers the first open problem in the list of open problems from the 2006 IITK Workshop on Algorithms for Data Streams. Specifically, suppose Alice receives a vector x in {-M,...,M}^n and Bob receives y in {-M,...,M}^n, and the two parties share randomness. Each party must output a short sketch of their vector such that a third party can later quickly recover a (1 +/- eps)-approximation to ||x-y||_1 with 2/3 probability given only the sketches. We give a sketching algorithm which produces O(eps^{-2}log(1/eps)log(nM))-bit sketches in O(n*log^2(nM)) time, independent of eps. The previous best known sketching algorithm for L_1 is due to [Feigenbaum et al., SICOMP 2002], which achieved the optimal sketch length of O(eps^{-2}log(nM)) bits but had a running time of O(n*log(nM)/eps^2). Notice that our running time is near-linear for every eps, whereas for sufficiently small values of eps, the running time of the previous algorithm can be as large as quadratic. Like their algorithm, our sketching procedure also yields a small-space, one-pass streaming algorithm which works even if the entries of x,y are given in arbitrary order.

研究の動機と目的

• ストリーミング環境における効率的な $L_1$-差分計算に関する、2006年IITKデータストリームワークショップにおける未解決問題に取り組む。
• 従来の研究よりも著しく時間計算量を改善し、特に $\varepsilon$ が小さい場合に有効な、最適なスケッチサイズを達成するスケッチ化アルゴリズムを設計する。
• 整数ベクトル $\{-M, \ldots, M\}^n$ のための近似的線形時間でのスケッチ生成を可能にし、$\|x-y\|_1$ の $(1\pm\varepsilon)$-近似を実現する。
• 任意の更新順序で動作する1パスのストリーミング処理を可能にし、ネットワーク監視や分散データ処理において重要である。

提案手法

• ベクトル差分を小さな空間に射影するために、2点間の独立なハッシュ関数を用い、$L_1$-ノルムの効率的な推定を可能にする。
• 階層的な推定フレームワークを採用し、ベクトル空間を二進区間（dyadic intervals）に分割し、各区間ごとにランダム化されたカウンタを用いて $L_1$-ノルムを推定する。
• 各区間における推定誤差を抑え、真の値の周辺に集中させるために、チェビシェフの不等式を適用する。
• 各区間の $L_1$-ノルムを制御された誤差で推定できるように、TLE（しきい値推定）アルゴリズムに基づいた特化したスケッチ手順を統合する。
• アリスとボブのスケッチを差分を取ることで結合し、第三者が結合スケッチに対して後処理を施すことで $\|x-y\|_1$ を推定可能にする。
• ニサン＝ズッケルマンの擬似乱数生成器を用いて、必要な共有乱数をスケッチサイズに線形な長さのシードに圧縮し、実用的導入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 $\varepsilon$ に依存しない近似的線形時間計算量を達成しながら、最適なスケッチサイズを実現できる $L_1$-差分スケッチ化アルゴリズムは存在するか？
• RQ2 従来の $L_1$-スケッチ化アルゴリズムにおける $\varepsilon^{-2}$ 依存性を、スケッチサイズを犠牲にせずに削減することは可能か？
• RQ3 任意の更新順序で動作し、効率的なスケッチ結合を可能にする1パスのストリーミングアルゴリズムを $L_1$-差分用に設計することは可能か？
• RQ4 高確率で $\|x-y\|_1$ の $(1\pm\varepsilon)$-近似を得るための最小限の共有乱数量は何か？

主な発見

• アルゴリズムは $O(\varepsilon^{-2}\log(1/\varepsilon)\log(nM))$-ビットのスケッチを生成し、従来の研究と同等の最適なスケッチサイズを達成するが、著しく改善された時間計算量を実現する。
• スケッチ生成の実行時間は $O(n\log^2(nM))$ であり、$\varepsilon$ に依存しない。これにより、従来のアルゴリズムにおける $\varepsilon^{-2}$ のボトルネックが解消される。
• 第三者は、$O(\varepsilon^{-2}(\log(\varepsilon^2 nM) + \log(1/\varepsilon)\log\log(1/\varepsilon)\log\log\log(1/\varepsilon)))$ 時間で、$\|x-y\|_1$ の $(1\pm\varepsilon)$-近似を確率 $2/3$ 以上で回復できる。
• スケッチ手順は、任意の順序でのベクトルの1パスストリーミング処理をサポートし、ネットワーク監視や分散システムに適している。
• ニサン＝ズッケルマンの擬似乱数生成器を用いることで、必要な共有乱数を $\mathrm{polylog}(nM)$ からスケッチサイズに線形な長さのシードに削減でき、実用的導入が可能になる。