[논문 리뷰] On Approximating Frequency Moments of Data Streams with Skewed Projections

Ping Li|ArXiv.org|2008. 02. 06.

Data Management and Algorithms참고 문헌 24인용 수 4

한 줄 요약

이 논문은 데이터 스트림에서 빈도 모멘트를 근사하기 위해 기울인 안정 분포를 활용한 무작위 투영 기법을 제안하며, 특히 α ≈ 1일 때 매우 효과적이다. 기울인 안정 분포와 새로운 통계적 추정기법을 활용하여, 이전의 대칭 안정 투영 방법에 비해 표본 복잡도를 크게 감소시켰다. α → 1에 수렴함에 따라 渐近 분산에서 무한에 가까운 향상이 이루어진다.

ABSTRACT

We propose skewed stable random projections for approximating the pth frequency moments of dynamic data streams (01) improves previous methods based on (symmetric) stable random projections. Our proposed method is applicable to data streams that are (a) insertion only (the cash-register model); or (b) always non-negative (the strict Turnstile model), or (c) eventually non-negative at check points. This is only a minor restriction for practical applications. Our method works particularly well when p = 1+/- Δand Δis small, which is a practically important scenario. For example, Δmay be the decay rate or interest rate, which are usually small. Of course, when Δ= 0, one can compute the 1th frequent moment (i.e., the sum) essentially error-free using a simple couter. Our method may be viewed as a ``genearlized counter'' in that it can count the total value in the future, taking in account of the effect of decaying or interest accruement. In a summary, our contributions are two-fold. (A) This is the first propsal of skewed stable random projections. (B) Based on first principle, we develop various statistical estimators for skewed stable distributions, including their variances and error (tail) probability bounds, and consequently the sample complexity bounds.

연구 동기 및 목표

• α ≈ 1일 때 빈도 모멘트를 추정할 때 대칭 안정 무작위 투영의 비효율성을 해결하기 위해.
• 기울임 또는 감쇠하는 값을 갖는 동적 데이터 스트림을 위한 일반화된 카운터 유사 메커니즘을 개발하기 위해.
• 특히 α ≈ 1일 때 기울인 안정 분포에 대한 통계적으로 강건한 추정기법을 설계하기 위해.
• 빈도 모멘트 추정을 위한 더 날카운 샘플 복잡도 상한과 명시적 꼬리 상한을 확립하기 위해.

제안 방법

• 데이터 스트림에서 쿼리 시간에 값이 음이 아닌 경우에 특화된 기울인 안정 무작위 투영을 대칭 안정 투영의 일반화로 도입한다.
• 기울인 안정 분포의 모멘트에 대한 이론적 공식을 유도하며, 완전히 기울인 안정 분포가 무한차수의 음의 모멘트를 갖는다는 것을 발견한다.
• 추정 분산을 최소화하는 기하 평균 추정기법을 제안하며, α < 1일 경우 渐近 분산이 (1−α²)π²/(6kF²(α))로 스케일링되고, α > 1일 경우 (5−α)(α−1)π²/(6kF²(α))로 스케일링됨을 보인다.
• α < 1에 대해 더 나은 꼬리 행동과 무한차수 모멘트를 갖는 조화 평균 추정기법을 제안한다.
• α = 0.5, α = 0+, α = 2에 대해 명시적 최대우도추정기(MLE)를 도출하며, 전체 분산과 꼬리 상한 분석을 수행한다.
• 특수 값에서 MLE로 수렴하는 최적의 거듭제곱 추정기법을 제안하며, α < 1에 대해 지수 꼬리 상한을 가능하게 한다.

실험 결과

연구 질문

• RQ1 α ≈ 1일 때 기울인 안정 무작위 투영이 대칭 안정 투영에 비해 표본 복잡도 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 특히 α → 1의 임계 영역에서 기울인 안정 분포에 대해 최적의 통계적 추정기법은 무엇인가?
• RQ3 기울인 안정 투영 기반 추정기의 渐近 분산이 α ≈ 1에서 대칭 투영의 것과 비교해 어떻게 되는가?
• RQ4 기울인 안정 투영 하에서 추정기의 명시적 꼬리 상한을 도출할 수 있는가? 이를 통해 고확률 정확도를 보장할 수 있는가?
• RQ5 추정 분산을 최소화하기 위해 최적의 투영 분포(예: 완전히 기울인)는 무엇인가?

주요 결과

• 표본 복잡도는 k = G / (ǫ² log(2/δ))로 감소하며, G = ǫ² / log(1+ǫ) − 2√∆log(1+ǫ) + o(√∆)로 정의되며, α = 1 ± ∆ → 1일 때 대칭 투영에 비해 渐近 분산에서 거의 무한에 가까운 향상을 달성한다.
• 기하 평균 추정기법은 완전히 기울인 안정 분포에서 최소 분산을 달성하며, α < 1일 경우 渐近 분산이 (1−α²)π²/(6kF²(α))로 스케일링된다.
• α < 1일 경우 조화 평균 추정기법은 더 나은 꼬리 행동과 무한차수 모멘트를 제공하여 더 강력한 농도 상한을 가능하게 한다.
• α = 0.5에 대해 명시적 MLE를 도출하였으며, 전체 분산과 꼬리 상한 분석을 수행하여 이전 방법보다 향상된 성능을 보였다.
• 최적의 거듭제곱 추정기법은 α = 0.5, 0+, 2에서 MLE를 일반화하며, 모든 α < 1에 대해 지수 꼬리 상한을 가능하게 한다.
• 이론적 분석을 통해 누적모멘트 생성함수 g(λ; α)가 볼록임을 확인하였으며, 최적의 λ∗ < 0이므로 추정기의 유일한 해가 존재함을 보장한다.