[논문 리뷰] Polynomial Estimators for High Frequency Moments

Šumit Ganguly|arXiv (Cornell University)|2011. 04. 23.

Advanced Database Systems and Queries참고 문헌 3인용 수 19

한 줄 요약

이 논문은 p > 2인 데이터 스트림의 p차 빈도 모멘트 Fp를 추정하기 위한 새로운 스트리밍 알고리즘을 제안하며, 공간 복잡도를 O(n^{1−2/p}ǫ⁻² log n ⋅ p² ⋅ E(p,n) / min(log n, ǫ^{4/p−2})) 비트로 향상시켰다. 여기서 E(p,n) = (1−2/p)⁻¹(1−n⁻⁴⁽¹⁻²/ᵖ⁾)이다. 이 방법은 경험적 추정치에 적용된 부드러운 함수의 저차수 테일러 다항식 근사법을 사용하여, 이전 작업 대비 공간 사용을 Ω(ǫ⁻⁴/ᵖ min(log n, ǫ⁴/ᵖ⁻²)) 배 감소시키며, 업데이트 시간은 O(log n)을 유지한다.

ABSTRACT

We present an algorithm for computing $F_p$, the $p$th moment of an $n$-dimensional frequency vector of a data stream, for $2 < p < \log (n) $, to within $1\pm ε$ factors, $ε\in [n^{-1/p},1]$ with high constant probability. Let $m$ be the number of stream records and $M$ be the largest magnitude of a stream update. The algorithm uses space in bits $$ O(p^2ε^{-2}n^{1-2/p}E(p,n) \log (n) \log (nmM)/\min(\log (n),ε^{4/p-2}))$$ where, $E(p,n) = (1-2/p)^{-1}(1-n^{-4(1-2/p})$. Here $E(p,n)$ is $ O(1)$ for $p = 2+Ω(1)$ and $ O(\log n)$ for $p = 2 + O(1/\log (n)$. This improves upon the space required by current algorithms \cite{iw:stoc05,bgks:soda06,ako:arxiv10,bo:arxiv10} by a factor of at least $Ω(ε^{-4/p} \min(\log (n), ε^{4/p-2}))$. The update time is $O(\log (n))$. We use a new technique for designing estimators for functions of the form $ψ(\expect{X})$, where, $X$ is a random variable and $ψ$ is a smooth function, based on a low-degree Taylor polynomial expansion of $ψ(\expect{X})$ around an estimate of $\expect{X}$.

연구 동기 및 목표

• p > 2인 경우 빈도 벡터의 p차 모멘트 Fp를 추정하기 위한 선형 이하 공간의 스트리밍 알고리즘을 설계하기 위해.
• 특히 2 < p < log n인 경우에 대해 기존의 공간 복잡도 한계를 향상시키기 위해.
• 최소 공간과 효율적인 업데이트 시간으로 Fp에 대해 확률 0.8 이상의 ǫ-근사값을 확보하기 위해.
• 경험적 모멘트에 적용된 부드러운 함수의 테일러 다항식 전개에 기반한 새로운 추정 기법을 도입하기 위해.

제안 방법

• E[X]의 추정치를 중심으로 ψ(E[X])의 저차수 테일러 다항식 전개를 기반으로 한 새로운 추정기 제안. 여기서 ψ는 부드러운 함수이다.
• 쌍별로 독립적인 해시 함수와 라데마처 스케치를 사용한 계층적 스케치 구조를 활용하여 빈도 모멘트를 추정한다.
• 고빈도 요소를 추출하기 위해 fY(y) ∝ 1/y³ 형태의 이산화된 멱법칙 분포를 적용하여 공간 효율성을 향상시킨다.
• 중요한 요소와 경미한 요소의 기여를 분리하기 위해 수정된 수준-매핑 및 임계값 설정 전략을 사용한다.
• 공간 복잡도의 핵심 요소로 E(p,n) = (1−2/p)⁻¹(1−n⁻⁴⁽¹⁻2/ᵖ⁾) 함수를 도입하며, 이는 p = 2+Ω(1)일 때 O(1)이고, p = 2+O(1/log n)일 때 O(log n)이다.
• 추정 오차를 제한하기 위해 체비쇼프 부등식과 전체 분산의 법칙을 통한 분산 분해를 사용한다.

실험 결과

연구 질문

• RQ1 다항식 기반 추정기로 데이터 스트림에서 고빈도 모멘트 추정의 공간 복잡도를 줄일 수 있는가?
• RQ2 기존의 샘플링 기반 방법과 비교해 테일러 다항식 근사법을 사용함으로써 추정 정확도와 공간 효율성이 어떻게 향상되는가?
• RQ3 2 < p < log n일 때 Fp 추정에 있어 공간, 업데이트 시간, 근사 오차 간 최적의 트레이드오프는 무엇인가?
• RQ4 기존 함수 g(p,n)와 비교해 새로운 추정기 E(p,n)는 공간 절감 측면에서 어떻게 다른가?
• RQ5 기존 작업보다 더 낮은 공간 복잡도를 확보하면서도 O(log n)의 업데이트 시간을 유지할 수 있는가?

주요 결과

• 알고리즘은 확률 최소 0.8로 Fp에 대해 ǫ-근사값을 제공하며, 공간 복잡도는 O(n^{1−2/p}ǫ⁻² log n ⋅ p² ⋅ E(p,n) / min(log n, ǫ^{4/p−2})) 비트이다.
• 기존 알고리즘 대비 공간 복잡도가 Ω(ǫ⁻⁴/ᵖ min(log n, ǫ⁴/ᵖ⁻²)) 배 향상되었으며, 최소한 Ω(ǫ⁻⁴/ᵖ)이다.
• p = 2 + Ω(1)일 경우 E(p,n)는 O(1)이며, 이는 최적의 공간 사용을 의미한다; p = 2 + O(1/log n)일 경우 E(p,n)는 O(log n)이다.
• 업데이트 시간은 O(log n)이며, 이는 s = O(log n)개의 해시 평가에 의해 지배된다.
• 분석 결과, 추정기의 분산은 (ǫFp/7.5)² 이하로 제한되며, 이는 체비쇼프 부등식을 통한 농도 보장에 기여한다.
• 이 알고리즘은 현재 알려진 Fp 추정에 대한 하한값 Ω(ǫ⁻² + n^{1−2/p}ǫ⁻²/ᵖ + n^{1−2/p} log n) 비트와 일치하므로 최적임을 입증한다.