[論文レビュー] Continuous monitoring of $\ell_p$ norms in data streams

Jarosław Błasiok, Jian Ding+1 more|arXiv (Cornell University)|Apr 21, 2017

Data Stream Mining Techniques参考文献 35被引用数 3

ひとこと要約

本稿は、すべての $ p \in (0,2] $ に対して、挿入のみのデータストリームにおける $\ell_p$-ノルムの連続的モニタリングのための、空間効率に優れた新規アルゴリズムを提示する。インドイクの $p$-安定スケッチの洗練された解析と、再帰的離散化およびハッシュ化戦略を導入することで、$\widetilde{O}(\varepsilon^{-2} (\lg m + \lg n)(\lg \varepsilon^{-1} + \lg \delta^{-1} + \lg \lg m))$ の空間で強追跡を達成し、$p < 2$ の場合に既存の境界を改善し、連続的モニタリング設定におけるギャップを埋めた。

ABSTRACT

In insertion-only streaming, one sees a sequence of indices $a_1, a_2, \ldots, a_m\in [n]$. The stream defines a sequence of $m$ frequency vectors $x^{(1)},\ldots,x^{(m)}\in\mathbb{R}^n$ with $(x^{(t)})_i = |\{j : j\in[t], a_j = i\}|$. That is, $x^{(t)}$ is the frequency vector after seeing the first $t$ items in the stream. Much work in the streaming literature focuses on estimating some function $f(x^{(m)})$. Many applications though require obtaining estimates at time $t$ of $f(x^{(t)})$, for every $t\in[m]$. Naively this guarantee is obtained by devising an algorithm with failure probability $\ll 1/m$, then performing a union bound over all stream updates to guarantee that all $m$ estimates are simultaneously accurate with good probability. When $f(x)$ is some $\ell_p$ norm of $x$, recent works have shown that this union bound is wasteful and better space complexity is possible for the continuous monitoring problem, with the strongest known results being for $p=2$ [HTY14, BCIW16, BCINWW17]. In this work, we improve the state of the art for all $0

研究の動機と目的

• 挿入のみのデータストリームにおける $\ell_p$-ノルムの連続的モニタリングの課題に対処すること。ここでは、更新の後、常に正確な推定値が必要であり、最終的な時点でだけではない。
• 標準的な和集合確率のアプローチでは、$m$ 回の更新に対して $\ll 1/m$ の失敗確率を必要とするが、これは空間の過剰な増大を引き起こすため、非効率であることを克服すること。
• 連続的モニタリングモデルにおける $\ell_p$-ノルム推定の空間計算量を改善すること、特に $p < 2$ の場合で、これまでの結果が最適でなかった点を改善すること。
• 最小限のランダムビット数と簡潔なデータ構造を用いて、すべての $m$ 個のクエリに対して同時に精度を保証する強追跡を達成する手法を開発すること。

提案手法

• 著者たちは、ストリーミング更新の動的性質と連続的精度の必要性を考慮した、インドイクの $p$-安定スケッチの新規な解析を採用している。
• スケッチ行列 $\Pi$ の離散化を、$\gamma = \Theta(\varepsilon m^{-1})$ の倍数に丸めることで行い、精度を保持しながらも、簡潔な保存を可能にしている。
• スケッチ行列は、$r$-wise および $s$-wise 独立なハッシュ関数を用いて格納され、完全な行列を格納する代わりにシードを符号化することで、空間を削減している。
• 再帰的構造を用いて $\ell_p$-ノルムの増大を制限し、強追跡を、より小さい失敗確率を持つ弱追跡に還元することを可能にしている。
• 失敗確率を低くするために、$\Theta(\lg(1/\delta))$ 個の独立なスケッチにおける中央値推定を用いており、空間計算量は $\varepsilon^{-2}$ および対数項に依存している。
• 各カウンターあたり $\mathcal{O}(\lg m)$ ビットで、現在の頻度ベクトルのコンactなスケッチを維持しており、カウンター総数は $d = \mathcal{O}(\varepsilon^{-2} (\lg \varepsilon^{-1} + \lg \delta^{-1}))$ である。

実験結果

リサーチクエスチョン

• RQ1 標準的な和集合確率のアプローチを超えて、$p \in (0,2)$ の場合に、連続的 $\ell_p$-ノルムモニタリングの空間計算量を改善することは可能か？
• RQ2 $n$ および $m$ に対して非線形空間で、乗法的誤差 $1+\varepsilon$ と失敗確率 $\delta$ を満たす強追跡を達成することは可能か？
• RQ3 インドイクの $p$-安定スケッチを、最小限の空間オーバーヘッドで連続的モニタリングをサポートする方法で解析することは可能か？
• RQ4 連続的モニタリングモデルにおいて、精度 $\varepsilon$、失敗確率 $\delta$、空間使用量の最適なトレードオフは何か？

主な発見

• 本稿は、すべての $p \in (0,2]$ に対して、空間計算量 $\mathcal{O}\left(\frac{+\lg n}{\varepsilon^2}(\lg \varepsilon^{-1} + \lg \delta^{-1} + \lg \lg m)\right)$ ビットで、挿入のみのストリームにおける $\ell_p$-ノルム推定の強追跡を達成している。
• この空間境界は、$p < 2$ の場合に既存の研究を改善しており、過去のアルゴリズムはより多くの空間を必要としていたり、強追跡の保証を提供できなかったりした。
• 著者たちは、問題をより小さい誤差許容度を持つ弱追跡に還元することで、失敗確率を $\delta$ から $\delta \lg f(x^{(m)})$ に低下させられることを示しており、再帰的分解により強追跡を実現している。
• スケッチ行列 $\Pi$ を $\gamma = \Theta(\varepsilon m^{-1})$ の倍数に離散化することで、精度にほとんど影響を与えないが、$\mathcal{O}(\lg m \varepsilon^{-1})$ ランダムビット/エントリで簡潔な表現が可能になる。
• この手法では、カウンターあたり $\mathcal{O}(\lg m)$ ビットしか使用せず、カウンター総数は $\mathcal{O}(\varepsilon^{-2} (\lg \varepsilon^{-1} + \lg \delta^{-1}))$ であり、全体として空間的に効率的である。
• 解析により、頻度ベクトルの $\ell_p$-ノルムの増大は高々 $m^2$ であることが示され、$\lg \|x^{(m)}\|_p = \mathcal{O}(\lg m)$ となる。これは、強追跡還元における失敗確率のバインドに不可欠である。