[論文レビュー] Universal Streaming of Subset Norms

Vladimir Braverman, Robert Krauthgamer+1 more|arXiv (Cornell University)|Dec 1, 2018

Semantic Web and Ontologies参考文献 46被引用数 4

ひとこと要約

本稿では、挿入のみのモデルにおいて、任意の部分集合族 𝒮 ⊆ 2^[n] のための部分集合-ℓ₀-ノルムを近似する普遍的ストリーミングアルゴリズムを導入する。このアルゴリズムは、新たに定義された「ヘビーヒッター次元」によって特徴づけられるメモリ量を用いる。主な結果として、ℓ₀および ℓ₁ ノルムに関して、空間計算量が Θ̃(HHdim(𝒮)) でほぼタイトに特徴づけられることを示し、ターンシールドモデルやスライディングウィンドウモデルといったより一般的なモデルとは明確な分離が生じることを示している。

ABSTRACT

Most known algorithms in the streaming model of computation aim to approximate a single function such as an $\ell_p$-norm. In 2009, Nelson [\url{https://sublinear.info}, Open Problem 30] asked if it possible to design \emph{universal algorithms}, that simultaneously approximate multiple functions of the stream. In this paper we answer the question of Nelson for the class of \emph{subset $\ell_0$-norms} in the insertion-only frequency-vector model. Given a family of subsets $\mathcal{S}\subset 2^{[n]}$, we provide a single streaming algorithm that can $(1\pm ε)$-approximate the subset-norm for every $S\in\mathcal{S}$. Here, the subset-$\ell_p$-norm of $v\in \mathbb{R}^n$ with respect to set $S\subseteq [n]$ is the $\ell_p$-norm of vector $v_{|S}$ (which denotes restricting $v$ to $S$, by zeroing all other coordinates). Our main result is a near-tight characterization of the space complexity of every family $\mathcal{S}\subset 2^{[n]}$ of subset-$\ell_0$-norms in insertion-only streams, expressed in terms of the "heavy-hitter dimension" of $\mathcal{S}$, a new combinatorial quantity that is related to the VC-dimension of $\mathcal{S}$. In contrast, we show that the more general turnstile and sliding-window models require a much larger space usage. All these results easily extend to $\ell_1$. In addition, we design algorithms for two other subset-$\ell_p$-norm variants. These can be compared to the Priority Sampling algorithm of Duffield, Lund and Thorup [JACM 2007], which achieves additive approximation $ε\|{v}\|$ for all possible subsets ($\mathcal{S}=2^{[n]}$) in the entry-wise update model. One of our algorithms extends this algorithm to handle turnstile updates, and another one achieves multiplicative approximation given a family $\mathcal{S}$.

研究の動機と目的

• Nelson が 2009 年に提起した、複数関数に対する普遍的ストリーミングの未解決問題に応えるために、部分集合-ℓp-ノルムに焦点を当てる。
• 挿入のみのモデルにおいて、任意の部分集合族 𝒮 に対して、普遍的に部分集合-ℓ₀-ノルムを近似する際の空間計算量を特徴づける。
• このような普遍的近似の複雑さを捉える組合せ的測度として「ヘビーヒッター次元」を導入し、形式化する。
• 挿入のみのモデルとより一般的なストリーミングモデル（ターンシールド、スライディングウィンドウ）との間で、空間要件の観点から明確な分離を確立する。
• 結果を ℓ₁-ノルムへと拡張し、エントリごとおよび挿入のみの更新モデルの変種を検討し、プライオリティサンプリングとの関連を検討する。

提案手法

• ベクトル v ∈ ℝⁿ と S ⊆ [n] に対して、v の S への制限の ℓp-ノルムを、S に関する部分集合-ℓp-ノルムと定義する。
• 集合族 𝒮 の「ヘビーヒッター次元」を、任意の入力ベクトル v に対して、すべての S ∈ 𝒮 における異なるヘビーヒッター（大きな絶対値を持つ座標）の最大数として定義する。
• 挿入のみのモデルにおいて、すべての S ∈ 𝒮 に対して (1±ε)-近似を達成するための、サイズ Õ(HHdim(𝒮)) の要約を維持するストリーミングアルゴリズムを設計する。
• 確率的解析とノルム比較（例：‖v‖₂ ≤ ‖v‖_p^{1/2−1/p}）を用いて、尾部寄与を抑え、マルコフの不等式により集中を保証する。
• 挿入のみおよびエントリごとのモデルにおいて、ℓ₀および ℓ₁ ノルムの空間計算量が、HHdim(𝒮) によってタイトに特徴づけられることを証明する。
• ターンシールドおよびスライディングウィンドウモデルでは、この特徴づけが成り立たないことを示し、空間計算量において明確な分離が生じることを示す。

実験結果

リサーチクエスチョン

• RQ1 与えられた部分集合族 𝒮 ⊆ 2^[n] に対して、挿入のみのモデルにおいて、1 つのストリーミングアルゴリズムが、すべての部分集合-ℓ₀-ノルムを普遍的に近似可能か？
• RQ2 このような普遍的近似に必要な最小空間を決定する、𝒮 の組合せ的性質は何か？
• RQ3 挿入のみ、ターンシールド、スライディングウィンドウの各モデル間で、普遍的部分集合-ℓp-ノルム近似の空間計算量はどのように異なるか？
• RQ4 ℓ₀および ℓ₁ の結果を、p ≠ 0,1 の一般の ℓp-ノルムへと拡張可能か？
• RQ5 提案されたアルゴリズムは、ℓ₁-ノルムのための既存手法（例：プライオリティサンプリング）とどのように関係し、一般化するか？

主な発見

• 挿入のみのモデルにおける部分集合-ℓ₀-ノルムの普遍的ストリーミングの空間計算量は、ヘビーヒッター次元の対数的要因を除いて特徴づけられる。
• ℓ₁-ノルムに対しても同様に、空間計算量は挿入のみのモデルで Õ(HHdim(𝒮)) である。
• ターンシールドおよびスライディングウィンドウモデルでは、この特徴づけが破綻し、はっきりとした空間計算量の分離が生じることを示している。
• エントリごとの更新において、一般の ℓp-ノルム（p ≠ 1）の空間計算量も、HHdim(𝒮) によって特徴づけられ、近似的にタイトなバウンド Õ(HHdim(𝒮)) を達成する。
• 挿入のみおよびエントリごとのモデルにおいて、サイズ Õ(HHdim(𝒮)) の要約を用いて、すべての S ∈ 𝒮 に対して (1±ε)-乗法的近似を達成する。
• アルゴリズムの変種を用いて、プライオリティサンプリングをターンシールド更新に対応させる一方で、部分集合における ℓ₁-ノルムの乗法的近似を維持する。