[논문 리뷰] Continuous monitoring of $\ell_p$ norms in data streams

Jarosław Błasiok, Jian Ding외 1명|arXiv (Cornell University)|2017. 04. 21.

Data Stream Mining Techniques참고 문헌 35인용 수 3

한 줄 요약

이 논문은 모든 $ p \in (0,2] $ 에 대해 삽입 전용 데이터 스트림에서 연속적인 $\ell_p$-노름을 모니터링하기 위한 공간 효율적인 새로운 알고리즘을 제안한다. 인디크의 $p$-안정 스케치에 대한 정교한 분석과 함께 재귀적 이산화 및 해싱 전략을 도입함으로써, 저자들은 $\widetilde{O}(\varepsilon^{-2} (\lg m + \lg n)(\lg \varepsilon^{-1} + \lg \delta^{-1} + \lg \lg m))$ 공간을 사용하여 강력한 추적을 달성하였다. 이는 $p < 2$ 인 경우 이전의 경계를 향상시키며, 연속 모니터링 설정에서의 격차를 메웠다.

ABSTRACT

In insertion-only streaming, one sees a sequence of indices $a_1, a_2, \ldots, a_m\in [n]$. The stream defines a sequence of $m$ frequency vectors $x^{(1)},\ldots,x^{(m)}\in\mathbb{R}^n$ with $(x^{(t)})_i = |\{j : j\in[t], a_j = i\}|$. That is, $x^{(t)}$ is the frequency vector after seeing the first $t$ items in the stream. Much work in the streaming literature focuses on estimating some function $f(x^{(m)})$. Many applications though require obtaining estimates at time $t$ of $f(x^{(t)})$, for every $t\in[m]$. Naively this guarantee is obtained by devising an algorithm with failure probability $\ll 1/m$, then performing a union bound over all stream updates to guarantee that all $m$ estimates are simultaneously accurate with good probability. When $f(x)$ is some $\ell_p$ norm of $x$, recent works have shown that this union bound is wasteful and better space complexity is possible for the continuous monitoring problem, with the strongest known results being for $p=2$ [HTY14, BCIW16, BCINWW17]. In this work, we improve the state of the art for all $0

연구 동기 및 목표

• 모든 업데이트 이후 정확한 추정치가 필요로 하는 삽입 전용 데이터 스트림에서 연속적인 $\ell_p$-노름 모니터링 문제를 해결하기 위해.
• 표준 유니온 바운드 접근 방식이 $m$개의 업데이트에 대해 실패 확률을 $\ll 1/m$로 유지해야 하므로 공간 과잉 증가를 초래하는 비효율성 문제를 해결하기 위해.
• 특히 $p < 2$ 인 경우 이전 결과가 최적치가 아니었기 때문에, 연속 모니터링 모델에서 $\ell_p$-노름 추정의 공간 복잡도를 향상시키기 위해.
• 최소한의 랜덤 비트 수와 간결한 데이터 구조를 사용하여, 모든 $m$개의 쿼리에 동시에 정확도를 확보하는 강력한 추적을 달성하는 방법을 개발하기 위해.

제안 방법

• 저자들은 스트리밍 업데이트의 동적 성격과 연속적인 정확도 요구 사항을 고려한, 인디크의 $p$-안정 스케치에 대한 새로운 분석을 적용한다.
• 정확도를 유지하면서도 간결한 저장을 가능하게 하기 위해, 스케치 행렬 $\Pi$ 를 $\gamma = \Theta(\varepsilon m^{-1})$ 의 배수로 이산화한다.
• 스케치 행렬은 $r$-번 및 $s$-번 독립적인 해시 함수를 사용하여 저장하며, 전체 행렬 대신 시드를 인코딩하여 공간을 절감한다.
• 강력한 추적을 약한 추적으로 줄이기 위해 $\ell_p$-노름 성장률을 제어하기 위해 재귀적 구조를 사용한다.
• 실패 확률를 낮추기 위해 $\Theta(\lg(1/\delta))$ 개의 독립적인 스케치에서 중앙값 추정을 사용하며, 공간 복잡도는 $\varepsilon^{-2}$ 와 로그 항목에 따라 결정된다.
• 각 카운터당 $\mathcal{O}(\lg m)$ 비트를 사용하여 현재 빈도 벡터의 압축된 스케치를 유지하며, 총 카운터 수는 $d = \mathcal{O}(\varepsilon^{-2} (\lg \varepsilon^{-1} + \lg \delta^{-1}))$ 이다.

실험 결과

연구 질문

• RQ1 표준 유니온 바운드 접근 방식을 초월하여, $p \in (0,2)$ 인 경우 연속적인 $\ell_p$-노름 모니터링의 공간 복잡도를 향상시킬 수 있는가?
• RQ2 공간 복잡도가 $n$과 $m$에 대해 비선형일 때, 곱셈 오차 $1+\varepsilon$ 와 실패 확률 $\delta$ 를 동시에 달성할 수 있는가?
• RQ3 최소한의 공간 오버헤드로 연속적인 모니터링을 지원할 수 있도록, 인디크의 $p$-안정 스케치를 어떻게 분석할 수 있는가?
• RQ4 정확도 $\varepsilon$, 실패 확률 $\delta$, 공간 사용량 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 논문은 모든 $p \in (0,2]$ 에 대해 삽입 전용 스트림에서 $\ell_p$-노름 추정의 강력한 추적을 $\mathcal{O}\left(\frac{\lg m + \lg n}{\varepsilon^2}(\lg \varepsilon^{-1} + \lg \delta^{-1} + \lg \lg m)\right)$ 비트의 공간 복잡도로 달성하였다.
• 이 공간 경계는 $p < 2$ 인 경우 이전의 작업보다 향상되었으며, 이전 알고리즘은 더 많은 공간이 필요하거나 강력한 보장을 제공하지 못했다.
• 실패 확률을 $\delta$ 에서 $\delta \lg f(x^{(m)})$ 으로 줄이기 위해, 문제를 더 작은 오차 허용치를 가진 약한 추적으로 환원함으로써, 재귀적 분해를 통해 강력한 추적을 달성할 수 있음을 보였다.
• 스케치 행렬 $\Pi$ 를 $\gamma = \Theta(\varepsilon m^{-1})$ 의 배수로 이산화하는 것은 정확도에 거의 영향을 주지 않으며, 이로 인해 $\mathcal{O}(\lg m \varepsilon^{-1})$ 랜덤 비트당 간결한 표현이 가능해졌다.
• 이 방법은 카운터당 오직 $\mathcal{O}(\lg m)$ 비트만 사용하며, 총 카운터 수는 $\mathcal{O}(\varepsilon^{-2} (\lg \varepsilon^{-1} + \lg \delta^{-1}))$ 이므로 전체적으로 공간 효율적이다.
• 분석을 통해 빈도 벡터의 $\ell_p$-노름은 최대 $m^2$ 만큼 증가하므로 $\lg \|x^{(m)}\|_p = \mathcal{O}(\lg m)$ 임을 보였으며, 이는 강력한 추적 환원에서 실패 확률를 제한하는 데 핵심적이다.