[논문 리뷰] (Learned) Frequency Estimation Algorithms under Zipfian Distribution

Anders Aamand, Piotr Indyk외 1명|arXiv (Cornell University)|2019. 08. 14.

Speech and Audio Processing참고 문헌 48인용 수 17

한 줄 요약

이 논문은 제프리안 빈도 분포 하에서 Count-Min과 Count-Sketch에 대한 최초의 엄밀한 이론적 분석을 제공하며, 기존에 일반적으로 가정된 것과는 달리 표준 버전이 일정 수의 해시 함수를 사용할 경우 최적의 성능을 보임을 보여준다. 이는 로그 수준의 해시 함수 사용이 아니라 1보다 큰 상수 수준의 해시 함수를 사용할 때 성능이 최적화됨을 의미한다. 또한 표준 및 학습된 Count-Sketch에 대한 최초의 오차 한계를 설정하며, 완벽한 헤비 헤이터 오라클을 사용할 경우 학습 보강 버전이 추정 오차를 Θ(log(n)/log(n/B))의 요소로 감소시킴을 입증한다.

ABSTRACT

\begin{abstract} The frequencies of the elements in a data stream are an important statistical measure and the task of estimating them arises in many applications within data analysis and machine learning. Two of the most popular algorithms for this problem, Count-Min and Count-Sketch, are widely used in practice. In a recent work [Hsu et al., ICLR'19], it was shown empirically that augmenting Count-Min and Count-Sketch with a machine learning algorithm leads to a significant reduction of the estimation error. The experiments were complemented with an analysis of the expected error incurred by Count-Min (both the standard and the augmented version) when the input frequencies follow a Zipfian distribution. Although the authors established that the learned version of Count-Min has lower estimation error than its standard counterpart, their analysis of the standard Count-Min algorithm was not tight. Moreover, they provided no similar analysis for Count-Sketch. In this paper we resolve these problems. First, we provide a simple tight analysis of the expected error incurred by Count-Min. Second, we provide the first error bounds for both the standard and the augmented version of Count-Sketch. These bounds are nearly tight and again demonstrate an improved performance of the learned version of Count-Sketch. In addition to demonstrating tight gaps between the aforementioned algorithms, we believe that our bounds for the standard versions of Count-Min and Count-Sketch are of independent interest. In particular, it is a typical practice to set the number of hash functions in those algorithms to $Θ(\log n)$. In contrast, our results show that to minimize the \emph{expected} error, the number of hash functions should be a constant, strictly greater than $1$.

연구 동기 및 목표

• 제프리안 빈도 분포 하에서 표준 Count-Min과 Count-Sketch에 대한 엄밀한 오차 분석 부족 문제를 해결하기 위해.
• 이전 문헌에서 누락되었던 표준 및 학습된 Count-Sketch에 대한 최초의 이론적 오차 한계를 제공하기 위해.
• 표준 Count-Min과 Count-Sketch에서 해시 함수의 수가 예상 오차를 최소화하기 위해 1보다 큰 상수여야 하며, 기존의 Θ(log n) 사용 방식과는 다름을 입증하기 위해.
• 제프리안 데이터 하에서 학습 보강 버전의 Count-Min과 Count-Sketch의 성능 향상을 정량화하기 위해, 특히 완벽한 헤비 헤이터 오라클을 사용할 경우.
• 단일 해시 함수를 사용하는 학습된 Count-Sketch가 渐近적으로 최적의 오차 성능을 달성하며, 이는 Count-Min에서 관찰된 향상과 동일한 수준임을 입증하기 위해.

제안 방법

• 제프리안 빈도 분포 하에서 k개의 해시 함수와 B개의 버킷을 사용할 경우, 표준 Count-Min의 기댓값 오차에 대한 엄밀한 점근적 한계 Θ(k log(kn/B)/B)를 유도한다.
• 해시 충돌의 구조와 버킷 추정치의 분산을 고려한, 제프리안 분포 하에서 Count-Sketch의 오차를 제한하는 새로운 분석 프레임워크를 도입한다.
• 이전 연구 [HIKV19]에서 제안된 학습 보강 프레임워크를 적응하여, 신경망 분류기가 헤비 헤이터를 식별하고 고유한 버킷을 할당하며, 비헤비 헤이터 항목은 표준 스킴을 통해 처리하도록 한다.
• 단일 해시 함수를 사용하는 학습된 Count-Sketch의 기댓값 오차를 분석하여, 최적의 점근적 오차 스케일링을 달성함을 보여준다.
• 확률론적 및 농도론적 추론을 사용하여 비헤비 항목이 추정 오차에 기여하는 정도를 제한하며, 제프리안 빈도의 힘법칙 감쇠 특성을 활용한다.
• 합성 스트림을 사용하여 이론적 결과를 실증적으로 검증하였으며, n=10,000개의 항목과 α=1을 가정하고, B와 k를 변화시키며 완벽한 헤비 헤이터 오라클을 가정하였다.

실험 결과

연구 질문

• RQ1 제프리안 빈도 분포 하에서 표준 Count-Min의 기댓값 오차에 대한 엄밀한 점근적 한계는 무엇인가?
• RQ2 제프리안 빈도 분포 하에서 표준 Count-Sketch에 대한 최초의 이론적 오차 한계는 무엇이며, 이는 Count-Min과 어떻게 비교되는가?
• RQ3 학습된 Count-Sketch 버전은 학습된 Count-Min과 유사한 오차 감소를 달성하는가? 만약 그렇다면, 그 요소는 무엇인가?
• RQ4 제프리안 데이터 하에서 예상 오차를 최소화하기 위해 표준 Count-Min과 Count-Sketch에 적합한 해시 함수의 최적 수 k는 얼마인가?
• RQ5 동일한 가정 하에서 학습된 버전과 표준 버전 간의 성능 격차를 정량적으로 기술할 수 있는가?

주요 결과

• k개의 해시 함수와 B개의 버킷을 사용할 경우, 표준 Count-Min의 기댓값 오차는 Θ(k log(kn/B)/B)로 엄밀하게 한정되며, 이는 이전 연구에서의 느슨한 한계를 해결한다.
• 제프리안 분포 하에서 표준 Count-Sketch에 대한 최초의 오차 한계가 설정되었으며, 이는 Count-Min과 유사한 스케일링 행동을 보임을 보여준다.
• 완벽한 헤비 헤이터 오라클을 사용할 경우, 학습된 Count-Min은 표준 Count-Min 대비 추정 오차를 Θ(log(n)/log(n/B))의 요소로 감소시킨다.
• 학습된 Count-Sketch 역시 동일하게 Θ(log(n)/log(n/B))의 요소로 오차를 감소시킴을 보여주며, 이는 Count-Min에서 관찰된 향상과 일치한다.
• Count-Min과 Count-Sketch 모두에서 예상 오차를 최소화하기 위해 최적의 해시 함수 수는 1보다 큰 상수여야 하며, 이는 일반적으로 사용되는 Θ(log n)과는 다름을 입증한다.
• 실증 결과는 학습된 버전이 표준 버전보다 유의미하게 뛰어난 성능을 보이며, 특히 k=1이고 오라클이 완벽할 경우 학습된 Count-Sketch가 근사적으로 0.0000698의 오차(예: B=5000일 때)를 기록함을 확인한다.