[論文レビュー] Streaming sums in sublinear space.

Vladimir Braverman, Stephen R. Chestnut|arXiv (Cornell University)|Aug 21, 2014

Complexity and Algorithms in Graphs参考文献 1被引用数 4

ひとこと要約

本稿では、データストリーム内の要素頻度 $f_i$ の関数 $g$ による $\sum g(f_i)$ 形式のストリーミング頻度和の近似のための部分線形空間アルゴリズムを提示する。周期的および減少関数について、多対数的要因を除いて空間計算量の完全な分類を提供し、単純な十分条件を満たす非単調関数について、2010年以降の先行研究に比べて顕著な進展を遂げた、初めての部分線形空間近似を提供する。

ABSTRACT

Given a stream $S$ of length $m$ with element frequencies $f_i$, $i\in[n]$, and a function ${g:\mathbb{N} o\mathbb{R}}$, we consider the problem computing a $(1\pm\epsilon)$-approximation to $\sum g(f_i)$. Most previous efforts have focused on specific functions, for example the $p$-th moment $g(x)=|x|^p$ or other norms. The main contributions of this paper are the complete classification of the space necessary for approximating periodic and decreasing functions, up to polylogarithmic factors, and a sublinear space algorithm for non-monotone functions satisfying a relatively simple sufficient condition. This is the first streaming complexity characterization for functions that are not just monotonically increasing, and it is the first improvement on the complexity of general streaming frequency sums since 2010. Our sharpest results characterize nonincreasing functions in terms of the domain size \emph{and} stream length. In contrast to approximations of the frequency moments, it turns out the storage required to approximate a decreasing function depends delicately on the length of the stream. We apply our results to derive the first sublinear-space approximations to the harmonic mean, geometric mean, and the cumulative histogram of the frequencies.

研究の動機と目的

• ストリーミングモデルにおける減少関数および周期的関数の $\sum g(f_i)$ の近似の空間計算量を特徴づけること。
• 頻度モーメント近似に関する先行研究を、単調でない関数、特に単調増加でない関数へと拡張すること。
• 単調でない関数を満たす単純な十分条件を満たす部分線形空間アルゴリズムを開発すること。
• 調和平均、幾何平均、頻度の累積ヒストグラムのための、初めての部分線形空間近似を導出すること。
• 広範な関数クラスについて、多対数的要因を除いて空間計算量の完全な分類を提供すること。

提案手法

• 著者らは、関数の振る舞い（周期的、減少、非単調）に基づいて関数を分類し、頻度分布の構造的解析を用いて空間計算量の境界を導出する。
• 関数の形状とストリーム長に適応する、新しいサンプリングと推定フレームワークを導入し、部分線形空間の使用を可能にする。
• 非単調関数の場合、部分線形空間近似が可能であるための十分条件を特定し、関数の対称性と頻度分布の性質を活用する。
• この手法は、頻度モーメント近似技術を基盤としているが、関数の非単調性に対処するための特化したサンプリング戦略を用いて拡張される。
• 解析では、ドメインサイズ $n$ とストリーム長 $m$ の両方を組み込み、減少関数においてはストレージが $m$ に強く依存することを示す。
• フレームワークを応用して、調和平均、幾何平均、累積ヒストグラムの具体的な近似を導出し、それぞれの部分線形空間境界を証明する。

実験結果

リサーチクエスチョン

• RQ1 減少関数の $\sum g(f_i)$ の近似における空間計算量は何か？ これはストリーム長 $m$ とドメインサイズ $n$ にどのように依存するか？
• RQ2 非単調関数に対して部分線形空間近似が達成可能か？ そして、$g$ にどのような構造的条件がこれを可能にするか？
• RQ3 ストリーミングモデルにおいて、周期的関数の空間計算量は単調関数と比べてどのように異なるか？
• RQ4 頻度の調和平均と幾何平均を近似するための、最もタイトな空間境界は何か？
• RQ5 頻度の累積ヒストグラムは部分線形空間で近似可能か？ どのような条件下で可能か？

主な発見

• 減少関数の近似における空間計算量は、ドメインサイズ $n$ とストリーム長 $m$ の両方に強く依存する。これは、単調関数とは異なり、$m$ の影響が小さいとは限らないことを示している。
• 周期的および減少関数について、多対数的要因を除いて空間計算量の完全な分類が提供された。
• 単純な十分条件を満たす非単調関数に対する、部分線形空間アルゴリズムが初めて提示された。これは2010年以降の研究において顕著な進展を示している。
• 調和平均、幾何平均、頻度の累積ヒストグラムのための部分線形空間近似が導出され、ストリーミング計算量における未解決問題が解決された。
• 減少関数の場合、必要なストレージは $m$ に伴って増加することが示され、以前の研究で見られなかったストリーム長への根本的依存性が明らかになった。
• 特に非増加関数において、$n$ と $m$ の両方を解析に組み込むことで、従来の手法よりもタイトな空間境界が得られることが示された。