[論文レビュー] (Learned) Frequency Estimation Algorithms under Zipfian Distribution

Anders Aamand, Piotr Indyk+1 more|arXiv (Cornell University)|Aug 14, 2019

Speech and Audio Processing参考文献 48被引用数 17

ひとこと要約

本稿は、Zipf分布下におけるCount-MinおよびCount-Sketchの、初めてのタイトな理論的分析を提供し、標準バージョンが従来の仮定とは異なり、対数的ではなく定数個のハッシュ関数（1より大きい）を用いることで最適に動作することを示している。さらに、標準版および学習済み版のCount-Sketchに対する初めての誤差バウンドを確立し、完璧なヘビーホイッター・オラクルを用いる場合、学習拡張型バージョンが推定誤差をΘ(log(n)/log(n/B))の要因で低減することを示している。

ABSTRACT

\begin{abstract} The frequencies of the elements in a data stream are an important statistical measure and the task of estimating them arises in many applications within data analysis and machine learning. Two of the most popular algorithms for this problem, Count-Min and Count-Sketch, are widely used in practice. In a recent work [Hsu et al., ICLR'19], it was shown empirically that augmenting Count-Min and Count-Sketch with a machine learning algorithm leads to a significant reduction of the estimation error. The experiments were complemented with an analysis of the expected error incurred by Count-Min (both the standard and the augmented version) when the input frequencies follow a Zipfian distribution. Although the authors established that the learned version of Count-Min has lower estimation error than its standard counterpart, their analysis of the standard Count-Min algorithm was not tight. Moreover, they provided no similar analysis for Count-Sketch. In this paper we resolve these problems. First, we provide a simple tight analysis of the expected error incurred by Count-Min. Second, we provide the first error bounds for both the standard and the augmented version of Count-Sketch. These bounds are nearly tight and again demonstrate an improved performance of the learned version of Count-Sketch. In addition to demonstrating tight gaps between the aforementioned algorithms, we believe that our bounds for the standard versions of Count-Min and Count-Sketch are of independent interest. In particular, it is a typical practice to set the number of hash functions in those algorithms to $Θ(\log n)$. In contrast, our results show that to minimize the \emph{expected} error, the number of hash functions should be a constant, strictly greater than $1$.

研究の動機と目的

• Zipf分布下における標準版Count-MinおよびCount-Sketchのタイトな誤差解析が不足しているという問題を解決すること。
• 従来の文献に存在しなかった、標準版および学習済み版Count-Sketchに対する初めての理論的誤差バウンドを提供すること。
• 標準版Count-MinおよびCount-Sketchにおけるハッシュ関数の数が、期待誤差を最小化するために対数的ではなく、1より大きい定数であるべきであることを示すこと。これは一般的な実務習慣（Θ(log n)）とは対照的である。
• Zipf分布データ下における学習拡張型Count-MinおよびCount-Sketchの性能向上を定量的に評価すること、特に完璧なヘビーホイッター・オラクルが利用可能な場合に注目する。
• 単一のハッシュ関数を用いる学習済み版Count-Sketchが、漸近的に最適な誤差を達成することを確立すること。これはCount-Minで観察された改善と一致する。

提案手法

• Zipf分布下におけるk個のハッシュ関数とB個のバケットを用いた標準版Count-Minの期待誤差に対して、タイトな漸近的バウンドΘ(k log(kn/B)/B)を導出する。
• ハッシュ衝突の構造とバケット推定値の分散を考慮した、Zipf分布下におけるCount-Sketchの誤差をバウンドするための新しい分析フレームワークを導入する。
• 先行研究[HIKV19]の学習拡張フレームワークを適応し、ニューラルネットワーク分類器がヘビーホイッターを特定し、それらに固有のバケットを割り当て、非ヘビーホイッター項目は標準的なスケッチ処理を行う。
• 単一のハッシュ関数を用いた学習済みCount-Sketchの期待誤差を分析し、最適な漸近的誤差スケーリングを達成することを示す。
• 確率論的および集中不等式の手法を用いて、非ヘビーホイッター項目が推定誤差に与える寄与をバウンドし、Zipf分布のパワー法則的減衰を活用する。
• 合成ストリーム（n=10,000のアイテム、α=1）を用いて理論的結果を実証的に検証し、完璧なヘビーホイッター・オラクルを仮定してBとkを変化させる。

実験結果

リサーチクエスチョン

• RQ1 標準版Count-Minの期待誤差に対するタイトな漸近的バウンドは何か？（Zipf分布下）
• RQ2 標準版Count-SketchのZipf分布下における初めての理論的誤差バウンドは何か？また、それとCount-Minとの比較は？
• RQ3 学習済み版Count-Sketchは、学習済み版Count-Minと同程度の誤差低減を達成するか？その要因は？
• RQ4 Zipf分布下における標準版Count-MinおよびCount-Sketchの期待誤差を最小化する最適なハッシュ関数の数kは何か？
• RQ5 同じ仮定下で、学習済み版と標準版の性能差を定量的に特徴づけることができるか？

主な発見

• k個のハッシュ関数とB個のバケットを用いた標準版Count-Minの期待誤差は、Θ(k log(kn/B)/B)でタイトにバウンドされ、これにより先行研究の緩いバウンドが解消された。
• Zipf分布下における標準版Count-Sketchの誤差バウンドが初めて確立され、Count-Minと同様のスケーリング行動を示していることが判明した。
• ヘビーホイッター・オラクルが完璧な場合、学習済み版Count-Minは標準版Count-Minと比較して推定誤差をΘ(log(n)/log(n/B))の要因で低減する。
• 学習済み版Count-Sketchも同様に、誤差をΘ(log(n)/log(n/B))の要因で低減し、Count-Minで観察された改善と一致する。
• Count-MinおよびCount-Sketchの両方において、期待誤差を最小化する最適なハッシュ関数の数は、対数的ではなく1より大きい定数であることが判明した。これは一般的な実務習慣（Θ(log n)）とは矛盾する。
• 実験的結果は、学習済みバージョンが標準バージョンを著しく上回ることを確認しており、特にk=1でオラクルが完璧な場合、学習済みCount-Sketchは近似的にゼロ誤差（例：B=5000で0.0000698）を達成している。