[논문 리뷰] BPTree: an $\ell_2$ heavy hitters algorithm using constant memory

Vladimir Braverman, Stephen R. Chestnut외 4명|arXiv (Cornell University)|2016. 03. 02.

Algorithms and Data Compression참고 문헌 30인용 수 10

한 줄 요약

이 논문은 $\varepsilon^{-2}\log \varepsilon^{-1}$-공간, $O(\log \varepsilon^{-1})$-업데이트 시간을 갖는 $\ell_2$ 헤비 헬더를 위한 첫 번째 알고리즘인 BPTree를 소개한다. 이는 $n$과 $m$에 독립적인 최적의 공간 복잡도와 시간 복잡도를 달성한다. 이는 압축 감지 기반의 필터링 메커니즘을 비결정화하기 위해 제한된 독립도를 가진 라데마처 과정을 사용한 새로운 체이닝 추론 기법을 사용한다.

ABSTRACT

The task of finding heavy hitters is one of the best known and well studied problems in the area of data streams. One is given a list $i_1,i_2,\ldots,i_m\in[n]$ and the goal is to identify the items among $[n]$ that appear frequently in the list. In sub-polynomial space, the strongest guarantee available is the $\ell_2$ guarantee, which requires finding all items that occur at least $ε\|f\|_2$ times in the stream, where the vector $f\in\mathbb{R}^n$ is the count histogram of the stream with $i$th coordinate equal to the number of times~$i$ appears $f_i:=\#\{j\in[m]:i_j=i\}$. The first algorithm to achieve the $\ell_2$ guarantee was the CountSketch of [CCF04], which requires $O(ε^{-2}\log n)$ words of memory and $O(\log n)$ update time and is known to be space-optimal if the stream allows for deletions. The recent work of [BCIW16] gave an improved algorithm for insertion-only streams, using only $O(ε^{-2}\logε^{-1}\log\log n)$ words of memory. In this work, we give an algorithm \bptree for $\ell_2$ heavy hitters in insertion-only streams that achieves $O(ε^{-2}\logε^{-1})$ words of memory and $O(\logε^{-1})$ update time, which is the optimal dependence on $n$ and $m$. In addition, we describe an algorithm for tracking $\|f\|_2$ at all times with $O(ε^{-2})$ memory and update time. Our analyses rely on bounding the expected supremum of a Bernoulli process involving Rademachers with limited independence, which we accomplish via a Dudley-like chaining argument that may have applications elsewhere.

연구 동기 및 목표

• 삽입 전용 스트림에서 $\ell_2$ 헤비 헬더의 공간 복잡도 격차를 해소하기 위해, 이전 알고리즘들이 $O(\varepsilon^{-2}\log n)$ 또는 $O(\varepsilon^{-2}\log \varepsilon^{-1}\log\log n)$ 공간을 요구한 바 있다.
• 상수 $\varepsilon$에 대해 $\Omega(\varepsilon^{-2})$ 공간과 $O(1)$ 업데이트 시간의 명백한 하한선을 충족하는 최적의 공간 및 시간 복잡도를 달성하기 위해.
• 제한된 독립도를 가진 라데마처 변수를 사용하여 베르누이 과정을 비결정화하기 위한 새로운 기법을 개발하기 위해.
• 해시 함수의 수와 중앙값 계산의 횟수를 줄여 $\ell_2$ 헤비 헬더의 실용적 구현을 가능하게 하기 위해, 한 번의 스캔과 적응형 필터링 기법을 제공하기 위해.
• $\|f\|_2$를 항상 $O(\varepsilon^{-2})$ 메모리와 업데이트 시간으로 추적할 수 있는 새로운 방법을 제공하기 위해, 모멘트 추정의 핵심 원천이 되는 기초 기법을 마련하기 위해.

제안 방법

• BPTree는 $n$과 $m$에 독립적인 $O(\varepsilon^{-2}\log \varepsilon^{-1})$ 단어의 메모리를 사용하는 계층적 트리 구조의 스케치를 유지하는 데이터 구조를 제안한다.
• 항목들이 추정된 빈도에 따라 점진적으로 제거되는 다단계 적응형 필터링 과정을 사용하여, 진짜 헤비 헬더가 더 두드러지게 나타나도록 한다.
• 4-번 독립적인 해시 함수를 사용한 새로운 체이닝 추론 기법을 통해 라데마처 과정의 기대 최대값을 유한하게 제한함으로써 비결정화를 가능하게 한다.
• 스트림이 진행됨에 따라 필터링 임계값을 동적으로 조정하는 압축 감지 기반의 스킴을 단일 스캔으로 구현한다.
• 비중요한 항목을 필터링한 후 진짜 헤비 헬더의 잔여 빈도가 증가하므로 탐지 정확도가 향상됨을 활용한다.
• BPTree의 핵심 기법을 동일하게 사용하여 $O(\varepsilon^{-2})$ 메모리와 $O(\log \varepsilon^{-1})$ 업데이트 시간을 갖는 $\|f\|_2$ 추적 모듈을 설계한다.

실험 결과

연구 질문

• RQ1 삽입 전용 스트림에서 $\ell_2$ 헤비 헬더의 공간 복잡도를 $O(\varepsilon^{-2}\log \varepsilon^{-1})$ 단어로 줄일 수 있는가, 이는 $n$에 독립적인가?
• RQ2 각 업데이트에 대해 상수 메모리로 유지하면서 $O(\log \varepsilon^{-1})$ 업데이트 시간을 달성할 수 있는가, 이는 $\ell_2$-보증 정확성과 함께 유지되는가?
• RQ3 제한된 독립도를 가진 라데마처 변수를 사용한 체이닝 추론 기법을 통해 스트리밍 알고리즘에서 베르누이 과정을 비결정화할 수 있는가?
• RQ4 삽입 전용 스트림에서 CountSketch에 비해 적응형 필터링이 해시 함수 평가 횟수와 중앙값 계산 횟수를 상당히 줄일 수 있는가?
• RQ5 한 개의 데이터 구조가 최적의 공간과 시간을 갖는 $\ell_2$ 헤비 헬더와 실시간 $\|f\|_2$ 추적을 동시에 효율적으로 지원할 수 있는가?

주요 결과

• BPTree는 $O(\varepsilon^{-2}\log \varepsilon^{-1})$ 공간과 $O(\log \varepsilon^{-1})$ 업데이트 시간을 달성하여, 이론적 하한선에 상수 요소를 제외하고 정확히 일치한다.
• 알고리즘은 $\|f\|_2$를 항상 $O(\varepsilon^{-2})$ 메모리로 추적하며, 업데이트 시간은 $O\left(\log \varepsilon^{-1}\right)$ 이며, 이는 이전 방법보다 향상되었다.
• 실험 결과 BPTree는 속도와 메모리 사용 면에서 CountSketch를 능가하며, 특히 헤비 헬더가 충분히 빈도가 높을 경우(예: $K \geq 32$인 $K$-헤비 헬더) 두드러진 성능 향상을 보였다.
• 해시 함수에서 4-번 독립도를 사용하는 것으로도 정확도가 확보되어 필요한 난수의 수가 감소하고 효율성이 향상된다.
• BPTree의 적응형 필터링 메커니즘은 시간이 지남에 따라 활성 해시 함수의 수를 줄여 스트림 진행에 따라 업데이트 속도가 빨라진다.
• 제한된 독립도를 가진 체이닝 추론 기법은 보편적인 기법으로서, 헤비 헬더를 넘어서는 응용 가능성이 있다.