[논문 리뷰] Streaming Algorithms from Precision Sampling

Alexandr Andoni, Robert Krauthgamer외 1명|arXiv (Cornell University)|2010. 11. 04.

Machine Learning and Algorithms참고 문헌 26인용 수 20

한 줄 요약

이 논문은 정밀 샘플링 보조정리(Precision Sampling Lemma, PSL)를 사용하여 효율적인 스트리밍 알고리즘을 설계하는 통합 프레임워크를 제안한다. 이 프레임워크는 $F_k$-모멘트($k>2$), $\Vert x\rVert_p$-노름($p \in [1,2]$), 캐스케이드드 노름, $\ell_p$-샘플링의 최적 공간 복잡도를 달성한다. PSL에서 유래한 무작위 가중치로 입력 벡터를 스케일링하고 하비히터 추정기를 적용함으로써, 간단하고 일반화 가능한 알고리즘을 통해 거의 최적의 공간 범위를 달성한다.

ABSTRACT

A technique introduced by Indyk and Woodruff [STOC 2005] has inspired several recent advances in data-stream algorithms. We show that a number of these results follow easily from the application of a single probabilistic method called Precision Sampling. Using this method, we obtain simple data-stream algorithms that maintain a randomized sketch of an input vector $x=(x_1,...x_n)$, which is useful for the following applications. 1) Estimating the $F_k$-moment of $x$, for $k>2$. 2) Estimating the $\ell_p$-norm of $x$, for $p\in[1,2]$, with small update time. 3) Estimating cascaded norms $\ell_p(\ell_q)$ for all $p,q>0$. 4) $\ell_1$ sampling, where the goal is to produce an element $i$ with probability (approximately) $|x_i|/\|x\|_1$. It extends to similarly defined $\ell_p$-sampling, for $p\in [1,2]$. For all these applications the algorithm is essentially the same: scale the vector x entry-wise by a well-chosen random vector, and run a heavy-hitter estimation algorithm on the resulting vector. Our sketch is a linear function of x, thereby allowing general updates to the vector x. Precision Sampling itself addresses the problem of estimating a sum $\sum_{i=1}^n a_i$ from weak estimates of each real $a_i\in[0,1]$. More precisely, the estimator first chooses a desired precision $u_i\in(0,1]$ for each $i\in[n]$, and then it receives an estimate of every $a_i$ within additive $u_i$. Its goal is to provide a good approximation to $\sum a_i$ while keeping a tab on the "approximation cost" $\sum_i (1/u_i)$. Here we refine previous work [Andoni, Krauthgamer, and Onak, FOCS 2010] which shows that as long as $\sum a_i=Ω(1)$, a good multiplicative approximation can be achieved using total precision of only $O(n\log n)$.

연구 동기 및 목표

• 이전에 인디크-우드러프 기법에 기반한 복잡한 다양한 데이터 스트림 알고리즘들을 단순화하고 통합하는 것.
• 기본 문제인 $F_k$-모멘트 추정 및 $\ell_p$-노름 추정과 같은 공간 효율적인 스트리밍 알고리즘을 설계하기 위한 일반적이고 모듈화된 접근법을 제공하는 것.
• 정밀 샘플링 보조정리를 정교화하여 기존 문제, 특히 $F_k$-모멘트와 $\ell_p$-노름 추정의 공간 범위를 향상시키는 것.
• 샘플링 단계(PSL를 통한 무작위 스케일링)와 하비히터 추정 단계 사이에 명확한 분리를 확립하여 모듈화된 설계와 분석을 가능하게 하는 것.
• 이 프레임워크를 캐스케이드드 노름과 $p \in [1,2]$인 $\ell_p$-샘플링과 같은 새로운 문제로 확장하는 것.

제안 방법

• 입력 벡터 $x$의 각 좌표에 대해 정밀 샘플링 보조정리(PSL)를 적용하여 무작위 정밀도 수준을 할당함으로써, $\sum a_i$에 대한 좋은 근사치를 유지하면서도 역수의 합이 최소화되도록 보장한다.
• 입력 벡터 $x$를 PSL에서 유도된 무작위 벡터로 요소별로 스케일링하여, 스케일된 벡터에서 하비히터를 추정하는 문제로 변환한다.
• 스케일된 벡터에 표준 하비히터 추정 알고리즘(예: Count-Min 스키치 또는 미즈라-그리스)을 적용하여 $x$의 원하는 함수를 추정한다.
• 스케치의 선형성을 활용하여 스트림 중에 임의의 부호를 가진 업데이트도 지원한다.
• PSL를 정교화하여 $\sum a_i = \Omega(1)$일 때 총 근사 비용이 $O(n \log n)$이 되도록 하여 이전 연구를 향상시킨다.
• 확률적 추론과 질의 복잡도 하한을 사용하여, 결과적으로 도출된 공간 범위가 거의 최적임을 증명한다.

실험 결과

연구 질문

• RQ1 복잡한 인디크-우드러프 기법을 사용한 $F_k$-모멘트 추정을 더 모듈화되고 재사용 가능한 프레임워크로 단순화할 수 있는가?
• RQ2 단일 확률적 방법인 정밀 샘플링을 사용하여 다양한 문제 간의 스트리밍 알고리즘들을 통합하고 단순화할 수 있는가?
• RQ3 소음이 있는 추정치로부터 합을 추정할 때, 근사 정밀도와 총 비용(즉, $\sum 1/u_i$) 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 이 프레임워크는 $F_k$-모멘트 외에도 $\ell_p$-노름, 캐스케이드드 노름, $\ell_p$-샘플링을 처리할 수 있도록 확장될 수 있는가?
• RQ5 이러한 문제들에 대해 가장 날카로운 공간 복잡도 하한은 무엇이며, 간단한 선형 스케칭 접근법으로 이를 달성할 수 있는가?

주요 결과

• $F_k$-모멘트 추정에 대해 $k > 2$일 때, 제안된 프레임워크는 $O(n^{1-2/k} \cdot \epsilon^{-2-4/k} \log^2 n)$의 공간 복잡도를 달성하며, 이는 이전의 범위를 향상시킨다.
• $p \in [1,2]$인 $\ell_p$-노름 추정에 대해, 알고리즘은 짧은 업데이트 시간과 거의 최적의 공간 복잡도를 달성하며, 일반적인 업데이트를 지원하는 선형 스케치를 사용한다.
• 프레임워크는 동일한 핵심 알고리즘 아키텍처를 사용하여 모든 $p,q > 0$에 대해 캐스케이드드 노름 $\ell_p(\ell_q)$의 효율적 추정을 가능하게 한다.
• 이 방법은 $\ell_1$-샘플링을 지원하며, $p \in [1,2]$인 $\ell_p$-샘플링으로 자연스럽게 확장되어, 확률이 약 $|x_i| / \|x\|_1$인 원소 $i$를 생성한다.
• 정교화된 정밀 샘플링 보조정리는 $\sum a_i = \Omega(1)$일 때 총 근사 비용이 $O(n \log n)$이 되도록 보장하여, 최고의 알려진 하한과 일치한다.
• 하한 분석을 통해 공간 사용이 거의 최적임을 입증하였으며, 기대값으로서의 무게 합 $w_i$에 대해 $\Omega(n / (\rho \epsilon) \cdot \log(n/\alpha))$의 하한이 존재하여, 프레임워크의 날카로움을 확인한다.