[논문 리뷰] A Lower Bound for Estimating High Moments of a Data Stream

Šumit Ganguly|arXiv (Cornell University)|2011. 12. 31.

Data Stream Mining Techniques참고 문헌 5인용 수 12

한 줄 요약

이 논문은 데이터 스트림에서 p번째 모멘트를 추정하기 위한 새로운 하한을 확립하며, 높은 확률로 (1±ǫ)-근사치를 달성하는 어떤 알고리즘도 p > 2 이고 ǫ ≥ Ω(pn⁻¹ᵖ)일 경우 Ω(p²n¹⁻²ᵖǫ⁻²/log n) 비트의 공간을 필요로 함을 보여준다. 이 결과는 t-파티 세트 분리 문제로부터의 감소를 통해 p에 대한 의존성을 반영함으로써 이전의 하한을 향상시켰으며, 복잡도가 p에 대해 제곱적으로 증가함을 보여주어 이전 분석에서 포착되지 않았던 바를 밝힌다.

ABSTRACT

We show an improved lower bound for the Fp estimation problem in a data stream setting for p>2. A data stream is a sequence of items from the domain [n] with possible repetitions. The frequency vector x is an n-dimensional non-negative integer vector x such that x(i) is the number of occurrences of i in the sequence. Given an accuracy parameter Omega(n^{-1/p}) < ε< 1, the problem of estimating Fp is to estimate orm{x}_p^p = \sum_{i \in [n]} \abs{x(i)}^p correctly to within a relative accuracy of 1\pm εwith high constant probability in an online fashion and using as little space as possible. The current space lower bound for this problem is Omega(n^{1-2/p} ε^{-2/p}+ n^{1-2/p}ε^{-4/p}/ \log^{O(1)}(n)+ (ε^{-2} + \log (n))). The first term in the lower bound expression was proved in \cite{B-YJKS:stoc02,cks:ccc03}, the second in \cite{wz:arxiv11} and the third in \cite{wood:soda04}. In this note, we show an Omega(p^2 n^{1-2/p} ε^{-2}/\log (n)) bits space bound, for Omega(pn^{-1/p}) \le ε\le 1/10.

연구 동기 및 목표

• 相対 오차 ǫ에 대해 데이터 스트림에서 p번째 모멘트 (∥x∥ₚᵖ) 의 공간 복잡도에 대해 더 날카운 하한을 확립하기.
• 특히 큰 p > 2에 대해 기존 하한의 격차를 메우기 위해 p에 대한 의존성을 포함하기.
• 기존 하한이 Fp 추정의 공간 복잡도에서 p의 역할을 충분히 반영하지 못한 점을 개선하기.
• 공간 요구량이 p에 대해 제곱적으로 증가함을 보여주어 이전에 공식적으로 입증되지 않았던 사실을 밝히기.

제안 방법

• 일방향 랜덤화 통신 프rotocol를 사용하여 t-파티 세트 분리 문제(t-DISJ)를 Fp 추정 문제로 감소시킴.
• F₀(고유 요소의 수) 추정과 Fₚ(p번째 모멘트) 추정을 위한 두 가지 스케치 구조를 사용하며, 둘 다 (1±ǫ/10) 정확도를 가짐.
• t개의 이진 벡터 x₁, ..., xₜ로부터 벡터 x = x₁ + ⋯ + xₜ를 구성하고, 세 가지 경우에 대해 Fₚ의 행동을 분석함: 서로소 집합, 인덱스 i에 공통 원소 없음, 인덱스 i에 공통 원소 있음.
• 각 좌표 i에 n¹ᐟᵖ를 더하여, 세 가지 경우 간 Fₚ 추정치의 차이를 증폭함.
• 테일러 전개와 부등식을 적용하여, 특히 인덱스 i에 무거운 항목(빈도 t)이 존재할 경우 Fₚ의 변화를 경계함.
• 합집합 경계와 집중도 분석을 사용하여 F₀ 및 Fₚ 추정의 고확률 정확성을 확보함으로써, 공통 원소가 존재하는 경우를 신뢰성 있게 탐지할 수 있음.

실험 결과

연구 질문

• RQ1 p > 2에 대해 상대 오차 ǫ를 갖는 데이터 스트림에서 p번째 모멘트 추정의 최적 공간 복잡도는 무엇인가?
• RQ2 공간 복잡도는 매개변수 p에 어떻게 의존하며, 이러한 의존성은 하한에서 공식적으로 정량화될 수 있는가?
• RQ3 p에 대한 제곱 의존성을 포착함으로써, Fp 추정에 대한 기존 하한을 향상시킬 수 있는가?
• RQ4 스트리밍 모델에서 Fp 추정에 대해 더 강력한 공간 하한을 유도할 수 있는 커뮤니케이션 복잡도 하한이 존재하는가?

주요 결과

• 논문은 데이터 스트림에서 상대 오차 ǫ를 갖는 p번째 모멘트 추정에 대해 Ω(p²n¹⁻²ᵖǫ⁻²/log n) 비트의 새로운 하한을 확립함.
• 이 하한은 이전까지 누락되었던 p에 대한 제곱 의존성을 반영함으로써 이전의 최선의 하한을 향상시킴.
• 이 하한은 ǫ ≥ max(80p/n¹ᐟᵖ, 3/√n) 이며 2 < p < n¹ᐟᵖ/2 일 때도 성립하여 실용적인 p 값의 넓은 범위를 커버함.
• 이 결과는 t-파티 세트 분리 문제로부터의 감소를 통해 도출되었으며, 요구된 정확도를 갖는 Fp 추정기라면 반드시 이 정도 이상의 공간을 사용해야 함을 보여줌.
• 분석 결과, 공간 복잡도가 p에 대해 제곱적으로 증가함을 보여주며, p가 증가함에 따라 고차 모멘트 추정이 상당히 비싸지 않음을 시사함.
• 이 하한은 로그 인자 수준에서 최적이며, 이전 하한들보다 더 강력한 p-의존성 또는 p에 무관한 하한보다 향상됨.