[논문 리뷰] Universal Streaming of Subset Norms

Vladimir Braverman, Robert Krauthgamer외 1명|arXiv (Cornell University)|2018. 12. 01.

Semantic Web and Ontologies참고 문헌 46인용 수 4

한 줄 요약

이 논문은 삽입 전용 모델에서 임의의 부분집합 집합 family 𝒮 ⊆ 2^[n]에 대해 부분집합-ℓ₀-노름을 근사하는 유니버설 스트리밍 알고리즘을 제안하며, 이는 새로 정의된 '헤비히터 차원'으로 특징지어지는 공간을 사용한다. 주요 결과는 ℓ₀ 및 ℓ₁ 노름에 대해 공간 복잡도를 거의 날것 같은 특성으로 묘사한 것으로, Θ̃(HHdim(𝒮))로 표현되며, 턴테일 및 슬라이딩 윈도우와 같은 더 일반적인 모델과의 분리가 이루어진다.

ABSTRACT

Most known algorithms in the streaming model of computation aim to approximate a single function such as an $\ell_p$-norm. In 2009, Nelson [\url{https://sublinear.info}, Open Problem 30] asked if it possible to design \emph{universal algorithms}, that simultaneously approximate multiple functions of the stream. In this paper we answer the question of Nelson for the class of \emph{subset $\ell_0$-norms} in the insertion-only frequency-vector model. Given a family of subsets $\mathcal{S}\subset 2^{[n]}$, we provide a single streaming algorithm that can $(1\pm ε)$-approximate the subset-norm for every $S\in\mathcal{S}$. Here, the subset-$\ell_p$-norm of $v\in \mathbb{R}^n$ with respect to set $S\subseteq [n]$ is the $\ell_p$-norm of vector $v_{|S}$ (which denotes restricting $v$ to $S$, by zeroing all other coordinates). Our main result is a near-tight characterization of the space complexity of every family $\mathcal{S}\subset 2^{[n]}$ of subset-$\ell_0$-norms in insertion-only streams, expressed in terms of the "heavy-hitter dimension" of $\mathcal{S}$, a new combinatorial quantity that is related to the VC-dimension of $\mathcal{S}$. In contrast, we show that the more general turnstile and sliding-window models require a much larger space usage. All these results easily extend to $\ell_1$. In addition, we design algorithms for two other subset-$\ell_p$-norm variants. These can be compared to the Priority Sampling algorithm of Duffield, Lund and Thorup [JACM 2007], which achieves additive approximation $ε\|{v}\|$ for all possible subsets ($\mathcal{S}=2^{[n]}$) in the entry-wise update model. One of our algorithms extends this algorithm to handle turnstile updates, and another one achieves multiplicative approximation given a family $\mathcal{S}$.

연구 동기 및 목표

• 다양한 함수에 대한 유니버설 스트리밍 문제를 해결하기 위해 2009년 넬슨의 열린 문제를 부분집합-ℓp-노름에 집중하여 해결한다.
• 삽입 전용 모델에서 임의의 부분집합 집합 family 𝒮에 대해 부분집합-ℓ₀-노름을 유니버설하게 근사하는 데 필요한 공간 복잡도를 규명한다.
• 유니버설 근사의 복잡도를 캐릭터라이즈하는 데 사용되는 조합적 측정법으로 '헤비히터 차원'을 도입하고 체계화한다.
• 삽입 전용 모델과 더 일반적인 스트리밍 모델(턴테일, 슬라이딩 윈도우) 간의 공간 요구량 차이를 규명한다.
• 결과를 ℓ₁-노름으로 확장하고 엔트리별 및 삽입 전용 업데이트 모델의 변형을 탐색하며, 우선순위 샘플링과의 연결 고리를 탐색한다.

제안 방법

• 벡터 v ∈ ℝⁿ 과 부분집합 S ⊆ [n]에 대해, v를 S에 제한한 것의 ℓp-노름을 부분집합-ℓp-노름으로 정의한다.
• 집합 가족 𝒮의 '헤비히터 차원'을, 임의의 입력 벡터 v에 대해 모든 S ∈ 𝒮에 대해 발생할 수 있는 서로 다른 헤비히터(크기가 큰 좌표)의 최대 개수로 정의한다.
• 삽입 전용 모델에서 모든 S ∈ 𝒮에 대해 부분집합-ℓ₀-노름을 (1±ε)-근사하기 위해 크기가 Õ(HHdim(𝒮))인 요약을 유지하는 스트리밍 알고리즘을 설계한다.
• 확률적 분석과 노름 비교(예: ‖v‖₂ ≤ ‖v‖_p^{1/2−1/p})를 사용하여 尾부 기여를 제한하고 마르코프 부등식을 통해 농도를 확보한다.
• 삽입 전용 및 엔트리별 모델에서 ℓ₀ 및 ℓ₁-노름에 대해 공간 복잡도가 HHdim(𝒮)에 의해 날것처럼 정밀하게 특성화됨을 증명한다.
• 턴테일 및 슬라이딩 윈도우 모델에서는 이 특성화가 성립하지 않음을 보이며, 공간 복잡도에서 엄격한 분리가 있음을 시사한다.

실험 결과

연구 질문

• RQ1 주어진 집합 family 𝒮 ⊆ 2^[n]에 대해 삽입 전용 모델에서 단일 스트리밍 알고리즘이 모든 부분집합-ℓ₀-노름을 유니버설하게 근사할 수 있는가?
• RQ2 유니버설 근사에 필요한 최소 공간 복잡도를 결정짓는 𝒮의 조합적 성질은 무엇인가?
• RQ3 삽입 전용, 턴테일, 슬라이딩 윈도우 모델 간에 부분집합-ℓp-노름의 유니버설 근사에 대한 공간 복잡도는 어떻게 다를까?
• RQ4 ℓ₀ 및 ℓ₁에 대한 결과를 일반 ℓp-노름(p ≠ 0,1)으로 확장할 수 있는가?
• RQ5 제안된 알고리즘은 ℓ₁-노름에 대해 기존의 우선순위 샘플링 방법을 어떻게 일반화하거나 관련지나가는가?

주요 결과

• 삽입 전용 모델에서 부분집합-ℓ₀-노름의 유니버설 스트리밍 공간 복잡도는 로그 인자 수준에서 𝒮의 헤비히터 차원에 의해 특성화된다.
• ℓ₁-노름의 경우에도 동일한 특성화가 성립한다: 삽입 전용 모델에서 공간 복잡도는 Õ(HHdim(𝒮))이다.
• 턴테일 및 슬라이딩 윈도우 모델에서는 이 특성화가 무너지며, 상당히 더 많은 공간이 필요함을 시사하며, 이는 모델 간 엄격한 분리가 있음을 나타낸다.
• 엔트리별 업데이트 모델에서는 일반 ℓp-노름(p ≠ 1)에 대해서도 공간 복잡도가 HHdim(𝒮)에 의해 특성화되며, 거의 날것 같은 한계 Õ(HHdim(𝒮))를 갖는다.
• 삽입 전용 및 엔트리별 모델에서, 크기가 Õ(HHdim(𝒮))인 요약을 사용하여 모든 S ∈ 𝒮에 대해 (1±ε)-multiplicative 근사를 달성한다.
• 알고리즘의 변형은 우선순위 샘플링을 확장하여 턴테일 업데이트를 처리하면서도 부분집합에 대한 ℓ₁-노름에 대해 곱셈 근사를 유지한다.