[논문 리뷰] Approximating Large Frequency Moments with $O(n^{1-2/k})$ Bits

Vladimir Braverman, Jonathan Katzman외 2명|arXiv (Cornell University)|2014. 01. 08.

Algorithms and Data Compression참고 문헌 40인용 수 4

한 줄 요약

이 논문은 상수 $k > 3$ 에 대해 $F_k$의 $k$-번째 빈도 모멘트를 단일 패assing 스트리밍 알고리즘으로 근사화하는 방법을 제시하며, $O(n^{1-2/k})$ 비트의 메모리만을 사용한다. 이는 알려진 하한선에 상수 인자 범위 내에서 일치한다. 이 방법은 새로운 무거운 요소 탐지 알고리즘과 마팅게일 스케치를 조합하여 최적의 공간 복잡도를 달성하면서도, 일정한 확률로 $(1\pm\epsilon)$-근사치를 보장한다.

ABSTRACT

In this paper we consider the problem of approximating frequency moments in the streaming model. Given a stream $D = \{p_1,p_2,\dots,p_m\}$ of numbers from $\{1,\dots, n\}$, a frequency of $i$ is defined as $f_i = |\{j: p_j = i\}|$. The $k$-th \emph{frequency moment} of $D$ is defined as $F_k = \sum_{i=1}^n f_i^k$. In this paper we give an upper bound on the space required to find a $k$-th frequency moment of $O(n^{1-2/k})$ bits that matches, up to a constant factor, the lower bound of Woodruff and Zhang (STOC 12) for constant $ε$ and constant $k$. Our algorithm makes a single pass over the stream and works for any constant $k > 3$.

연구 동기 및 목표

• 스트리밍 모델에서 $F_k$를 근사화할 때 알려진 하한선과 상한선 사이의 격차를 메우기.
• 단지 $O(n^{1-2/k})$ 비트의 메모리만을 사용하여 $(1\pm\epsilon)$-근사치를 달성하는 공간 효율적인 알고리즘 설계.
• 최적의 공간 복잡도를 달성할 수 있도록 해주는 스트림 내에서의 무거운 요소 식별을 위한 새로운 알고리즘 개발.
• 마팅게일 스케치 프레임워크를 단일 패assing 근사치와 최적의 메모리 사용을 지원하도록 확장하기.
• 최적의 공간과 근사 보장을 유지하면서 다중 패assing에 대한 의존도를 제거하기.

제안 방법

• 세 번의 패assing과 $O(\frac{1}{\rho^C} F_0^{1-2/k} \log \frac{1}{\delta})$ 비트를 사용하여 $\rho$-무거운 요소를 식별하는 새로운 중량 요소 탐지 알고리즘(AHE)을 도입하며, 여기서 $C \leq 10$이다.
• 무거운 요소와 다른 요소가 모두 모멘트에 크게 기여할 수 있는 경우에도 무거운 요소를 고립시킬 수 있도록 재귀적 샘플링 및 해싱 전략을 활용한다.
• 해시 함수를 통해 일정 수의 하위스트림을 사용하여, 무거운 요소가 기여도가 지배적인 하위스트림에 포함될 가능성을 높여, 높은 확률로 탐지할 수 있도록 보장한다.
• 기대 가중치의 기하급수적 시리즈를 통해 오차를 통제하면서 스트림 전반에 걸쳐 근사치의 시퀀스를 유지하기 위해 마팅게일 스케치를 적용한다.
• 지수적으로 감소하는 오차 한계를 사용하여 다수의 근사치 비용을 줄여, 총 공간 증가 없이도 단일 패assing 실행을 가능하게 한다.
• 비중요한 요소에서 오는 노이즈를 제한하기 위해, $\rho^2$-무거운 후보자들 중에서 상위 $1/\rho$개의 요소만 선택하는 필터링 단계를 구현한다.

실험 결과

연구 질문

• RQ1 상수 $k > 3$ 에 대해 $F_k$의 근사치를 구할 때 공간 복잡도를 $O(n^{1-2/k})$ 비트로 줄일 수 있는가, 이때 $(1\pm\epsilon)$-근사치를 유지할 수 있는가?
• RQ2 이러한 최적의 공간 복잡도를 단일 패assing 알고리즘으로 달성할 수 있는가?
• RQ3 여러 요소가 $F_k$에 크게 기여할 경우 스트림 내에서 무거운 요소를 신뢰성 있게 탐지할 수 있는가?
• RQ4 마팅게일 스케치 프레임워크를 단일 패assing, 최적의 공간 사용을 지원하도록 적응시킬 수 있는가?
• RQ5 하위스트림화와 해싱으로 인해 발생하는 최소한의 오버헤드는 무엇이며, 공간 효율성 유지에 어떤 영향을 미치는가?

주요 결과

• 논문은 단일 패assing 알고리즘을 통해 $F_k$ 근사치의 상한선을 $O(n^{1-2/k})$ 비트로 달성하였으며, Woodruff와 Zhang [46]의 하한선에 상수 인자 범위 내에서 일치한다.
• 상수 $\epsilon$ 와 $k \geq 7$ 에 대해, 알고리즘은 $O(n^{1-2/k})$ 메모리 비트를 사용하며, 확률 최소 $2/3$ 에서 $(1\pm\epsilon)$-근사치를 출력한다.
• AHE 알고리즘은 $O(\frac{1}{\rho^C} F_0^{1-2/k} \log \frac{1}{\delta})$ 비트를 사용하여 $\rho$-무거운 요소를 성공적으로 식별하며, 여기서 $C \leq 10$ 이다. 이는 효율적인 모멘트 추정을 가능하게 한다.
• 일정 수의 하위스트림과 확률적 해싱을 사용함으로써, 여러 요소가 지배성을 두고 경쟁하는 경우에도 알고리즘은 $O(n^{1-2/k})$ 공간 복잡도를 유지한다.
• 기하급수적 오차 한계와 반복적 샘플링을 사용함으로써 다중 패assing이 필요 없어졌으며, 총 오차가 상수 확률로 $\epsilon F_k$ 이내로 유지됨을 보장한다.
• 비무거운 요소에서 기인하는 최종 근사 오차는 $\rho F_k$ 이하로 제한되며, 이는 $\rho^2$-무거운 요소 후보들 중 상위 $1/\rho$개를 필터링함으로써 무시할 수 있을 정도로 작아진다.