[论文解读] A Lower Bound for Estimating High Moments of a Data Stream

Šumit Ganguly|arXiv (Cornell University)|Dec 31, 2011

Data Stream Mining Techniques参考文献 5被引用 12

一句话总结

本文為數據流中估計p階矩確立了新的下界，表明任何以高概率實現(1±ǫ)-近似值的演算法，對於p > 2且ǫ ≥ Ω(pn⁻¹ᵖ)的情況，至少需要Ω(p²n¹⁻²ᵖǫ⁻²/log n)比特的空間。此結果透過從t人集合不相交問題的歸約，將p的依存關係納入考量，顯示複雜度隨p呈二次增長，此點在先前分析中未被捕捉到。

ABSTRACT

We show an improved lower bound for the Fp estimation problem in a data stream setting for p>2. A data stream is a sequence of items from the domain [n] with possible repetitions. The frequency vector x is an n-dimensional non-negative integer vector x such that x(i) is the number of occurrences of i in the sequence. Given an accuracy parameter Omega(n^{-1/p}) < ε< 1, the problem of estimating Fp is to estimate orm{x}_p^p = \sum_{i \in [n]} \abs{x(i)}^p correctly to within a relative accuracy of 1\pm εwith high constant probability in an online fashion and using as little space as possible. The current space lower bound for this problem is Omega(n^{1-2/p} ε^{-2/p}+ n^{1-2/p}ε^{-4/p}/ \log^{O(1)}(n)+ (ε^{-2} + \log (n))). The first term in the lower bound expression was proved in \cite{B-YJKS:stoc02,cks:ccc03}, the second in \cite{wz:arxiv11} and the third in \cite{wood:soda04}. In this note, we show an Omega(p^2 n^{1-2/p} ε^{-2}/\log (n)) bits space bound, for Omega(pn^{-1/p}) \le ε\le 1/10.

研究动机与目标

• 為相對誤差ǫ下數據流中p階矩(∥x∥ₚᵖ)的空間複雜度建立更緊緻的下界。
• 透過納入p的依存關係，彌補現有下界在p > 2時的缺口。
• 改進先前未完全考慮p在Fp估計空間複雜度中角色的下界。
• 展示空間需求隨p呈二次增長，此點此前未被正式建立。

提出的方法

• 使用單向隨機通信協定，將t人集合不相交(t-DISJ)問題歸約至Fp估計問題。
• 使用兩種略圖結構：一種用於估計F₀（不同元素數量），另一種用於估計Fₚ（p階矩），兩者均具備(1±ǫ/10)的準確度。
• 從t個二進位向量構造向量x = x₁ + ⋯ + xₜ，其中t = ⌈ǫn¹ᐟᵖ/(2p)⌉，並分析在三種情況下Fₚ的行為：集合不相交、共同元素不在索引i處，以及共同元素在索引i處。
• 透過在每個座標i加上n¹ᐟᵖ的擾動，以強化三種情況下Fₚ估計值的差異。
• 使用泰勒展開與不等式，界定擾動下Fₚ的變化，特別是在索引i處存在一個高頻項目（頻率為t）的情況。
• 運用聯合界與集中度論證，確保F₀與Fₚ估計的高概率正確性，進而可靠檢測共同元素的情況。

实验结果

研究问题

• RQ1 對於p > 2的數據流，相對誤差ǫ下估計p階矩的最優空間複雜度為何？
• RQ2 空間複雜度如何依賴於參數p？此依存關係能否在下界中正式量化？
• RQ3 能否透過捕捉p的二次依存關係，改善現有Fp估計的下界？
• RQ4 是否存在一種通訊複雜度下界，能導出流模型中Fp估計更強的空間下界？

主要发现

• 本文確立了在相對誤差ǫ下，數據流中估計p階矩的空間下界為Ω(p²n¹⁻²ᵖǫ⁻²/log n)比特。
• 此下界透過納入p的二次依存關係，改進了先前最佳已知下界，此依存關係此前遺漏。
• 該下界在ǫ ≥ max(80p/n¹ᐟᵖ, 3/√n)且2 < p < n¹ᐟᵖ/2時成立，涵蓋了廣泛的實務p值範圍。
• 此結果透過從t人集合不相交問題的歸約推導，顯示任何具備所需準確度的Fp估計器，至少需使用此量級的空間。
• 分析顯示，空間複雜度隨p呈二次增長，顯示高階矩估計在p增加時成本顯著上升。
• 此下界在對數因子內為緊緻，並優於先前下界，後者或與p無關，或p依存性較弱。