[논문 리뷰] Nearly Optimal Distinct Elements and Heavy Hitters on Sliding Windows

Vladimir Braverman, Elena Grigorescu외 3명|arXiv (Cornell University)|2018. 01. 01.

Algorithms and Data Compression참고 문헌 4인용 수 12

한 줄 요약

이 논문은 최근 n개의 요소만 고려하는 슬라이딩 윈도우 모델에서 고유 요소 수를 추정하고 ℓp-중요 항목을 식별하기 위한 거의 최적의 알고리즘을 제시한다. 이를 위해 새로운 형태의 지수 히스토그램 및 스무드 히스토그램인 '조합 가능한 히스토그램(composable histogram)'을 도입하여 핵심 항목의 빈도와 신원을 효율적으로 추적함으로써, 두 문제 모두에 대해 정보 이론적 하한선에 로그 인자 수준 내에서 공간 복잡도를 달성한다.

ABSTRACT

We study the distinct elements and l_p-heavy hitters problems in the sliding window model, where only the most recent n elements in the data stream form the underlying set. We first introduce the composable histogram, a simple twist on the exponential (Datar et al., SODA 2002) and smooth histograms (Braverman and Ostrovsky, FOCS 2007) that may be of independent interest. We then show that the composable histogram{} along with a careful combination of existing techniques to track either the identity or frequency of a few specific items suffices to obtain algorithms for both distinct elements and l_p-heavy hitters that are nearly optimal in both n and epsilon. Applying our new composable histogram framework, we provide an algorithm that outputs a (1+epsilon)-approximation to the number of distinct elements in the sliding window model and uses O{1/(epsilon^2) log n log (1/epsilon)log log n+ (1/epsilon) log^2 n} bits of space. For l_p-heavy hitters, we provide an algorithm using space O{(1/epsilon^p) log^2 n (log^2 log n+log 1/epsilon)} for 0<p <=2, improving upon the best-known algorithm for l_2-heavy hitters (Braverman et al., COCOON 2014), which has space complexity O{1/epsilon^4 log^3 n}. We also show complementing nearly optimal lower bounds of Omega ((1/epsilon) log^2 n+(1/epsilon^2) log n) for distinct elements and Omega ((1/epsilon^p) log^2 n) for l_p-heavy hitters, both tight up to O{log log n} and O{log 1/epsilon} factors.

연구 동기 및 목표

• 최근 n개의 요소만 활성인 슬라이딩 윈도우 모델에서 고유 요소 수 추정 및 중요 항목 식별이라는 기본 문제를 해결하기 위해.
• 고유 요소에 대한 (1+ǫ)-근사와 ℓp-중요 항목에 대한 (ǫ, φ)-근사 제공을 위한 공간 효율적인 알고리즘을 개발하기 위해.
• 기존 상한선과 알려진 하한선 사이의 격차를 메우기 위해, 공간 효율성을 향상시키는 새로운 데이터 구조인 '조합 가능한 히스토그램'을 설계함으로써.
• 두 문제에 대해 거의 날카로운 하한선을 설정하여, 제안된 알고리즘이 로그 인자 수준 내에서 최적임을 보여주기 위해.

제안 방법

• 슬라이딩 윈도우를 통해 스케치를 효율적으로 조합할 수 있도록 한 수정된 지수 히스토그램인 '조합 가능한 히스토그램'을 도입한다.
• 기존 스트리밍 기법을 활용하여 소수의 후보 항목에 대한 신원과 빈도를 추적함으로써 공간 오버헤드를 줄인다.
• 조합 가능한 히스토그램을 빈도 추정 및 중요 항목 탐지 알고리즘과 조합하여 슬라이딩 윈도우 제약 조건 하에서도 정확도를 유지한다.
• 하한선을 증명하기 위해 통신 복잡도 문제(예: GapHamming, AugmentedIndex)의 재귀적 임bedding을 활용한다.
• 공간 복잡도에 로그 인자 수준의 증가만으로도 성공 확률을 2/3에서 1−δ로 높이는 데에 강화 기법을 적용한다.
• 다양한 다항로그 수준의 인스턴스에 대한 정확한 유니온 바운드 분석을 통해 이전 연구에서의 오류를 수정하고, 공간 복잡도의 정확성을 보장한다.

실험 결과

연구 질문

• RQ1 슬라이딩 윈도우 모델에서 고유 요소 수 추정에 대해 거의 최적의 공간 복잡도를 달성할 수 있는가?
• RQ2 슬라이딩 윈도우 모델에서 기존 공간 복잡도 상한선을 개선하는 효율적인 ℓp-중요 항목 알고리즘을 설계할 수 있는가?
• RQ3 조합 가능한 히스토그램 프레임워크는 기존의 지수 히스토그램 및 스무드 히스토그램 접근 방식을 통합하고 개선하는 데에 충분한가?
• RQ4 슬라이딩 윈도우 모델에서 고유 요소 수 및 ℓp-중요 항목에 대해 가장 날카로운 하한선은 무엇인가?
• RQ5 특히 ℓ2-중요 항목에 대해 이전 연구에서 잘못된 공간 복잡도 주장이 있었음을 수정하고 개선할 수 있는가?

주요 결과

• 고유 요소 수에 대한 알고리즘의 공간 복잡도는 O(1/ǫ² log n log(1/ǫ) log log n + 1/ǫ log² n)이며, 이는 log log n 및 log(1/ǫ) 인자 수준 내에서 거의 최적이다.
• 0 < p ≤ 2 인 ℓp-중요 항목에 대해 알고리즘은 O(1/ǫ^p log³ n (log log n + log(1/ǫ))) 비트를 사용하며, 이는 ℓ2-중요 항목에 대해 이전의 O(1/ǫ⁴ log³ n) 상한선을 개선한다.
• 고유 요소 수에 대해 Ω(1/ǫ log² n + 1/ǫ² log n)의 하한선을 설정하여, 제안된 알고리즘이 ǫ 및 n 에 대해 거의 최적임을 입증한다.
• ℓp-중요 항목에 대해 Ω(1/ǫ^p log² n)의 하한선을 증명하였으며, 이는 상한선과 log(1/ǫ) 인자 수준 내에서 일치한다.
• 이전 연구에서 잘못된 ℓ2-중요 항목 분석을 수정하여, 잘못된 O(1/ǫ² log² n (log² log n + log(1/ǫ))) 복잡도를 정확한 O(1/ǫ² log³ n (log log n + log(1/ǫ))) 복잡도로 교체한다.
• 조합 가능한 히스토그램 프레임워크는 일반적이고 강력한 도구로 밝혀져, 본 연구를 넘어서 독립적인 관심사가 될 수 있다.