[논문 리뷰] On Low-Risk Heavy Hitters and Sparse Recovery Schemes

Yi Li, Vasileios Nakos외 1명|arXiv (Cornell University)|2017. 09. 09.

Atomic and Subatomic Physics Research참고 문헌 31인용 수 3

한 줄 요약

이 논문은 이전 연구의 오류를 수정하고, 실패 확률이 매우 낮은 하이퍼헤비 허터 문제와 희소 복구 이론을 발전시켜, 스파iked-covariance 모델에서 ℓ2/ℓ2 희소 복구 문제에 대해 날카운 끝 충족하는 하한과 상한을 설정한다. COUNT-SKETCH가 매우 낮은 실패 확률에서 최적임을 증명하고, 측정 복잡도에 대한 매칭 상한과 하한을 제공함으로써 이 모델에서 문제의 복잡도를 해결한다.

ABSTRACT

We study the heavy hitters and related sparse recovery problems in the low failure probability regime. This regime is not well-understood, and the main previous work on this is by Gilbert et al. (ICALP'13). We recognize an error in their analysis, improve their results, and contribute new sparse recovery algorithms, as well as provide upper and lower bounds for the heavy hitters problem with low failure probability. Our results are summarized as follows: 1) (Heavy Hitters) We study three natural variants for finding heavy hitters in the strict turnstile model, where the variant depends on the quality of the desired output. For the weakest variant, we give a randomized algorithm improving the failure probability analysis of the ubiquitous Count-Min data structure. We also give a new lower bound for deterministic schemes, resolving a question about this variant posed in Question 4 in the IITK Workshop on Algorithms for Data Streams (2006). Under the strongest and well-studied l_{infty}/ l_2 variant, we show that the classical Count-Sketch data structure is optimal for very low failure probabilities, which was previously unknown. 2) (Sparse Recovery Algorithms) For non-adaptive sparse-recovery, we give sublinear-time algorithms with low-failure probability, which improve upon Gilbert et al. (ICALP'13). In the adaptive case, we improve the failure probability from a constant by Indyk et al. (FOCS '11) to e^{-k^{0.99}}, where k is the sparsity parameter. 3) (Optimal Average-Case Sparse Recovery Bounds) We give matching upper and lower bounds in all parameters, including the failure probability, for the measurement complexity of the l_2/l_2 sparse recovery problem in the spiked-covariance model, completely settling its complexity in this model.

연구 동기 및 목표

• 하이퍼헤비 허터 및 희소 복구 문제에서 실패 확률이 매우 낮은 경우에 대한 이해 부족을 해결하기 위해.
• Gilbert 등(ICALP’13)의 실패 확률 분석에서 오류를 수정하고 그 결과를 향상시키기 위해.
• 실패 확률이 지수적으로 작은 하위선형 시간 알고리즘을 갖는 새로운 비결정적 희소 복구 알고리즘을 개발하기 위해.
• 스파iked-covariance 모델에서 ℓ2/ℓ2 희소 복구에 대한 측정 복잡도에 대해 날카운 상한과 하한을 설정하기 위해.
• 저자성 알고리즘과 매우 낮은 실패 확률 하에서 COUNT-SKETCH의 최적성에 대한 열린 문제를 해결하기 위해.

제안 방법

• 좌표를 [log^c₀ n]개의 버킷으로 나누기 위해 해시 함수 h: [n] → [log^c₀ n]를 사용하여, 각 하이퍼헤비 허터가 높은 확률으로 고유한 버킷에 속하도록 보장한다.
• 정확히 한 개의 하이퍼헤비 허터만 포함하는 버킷을 담고 있는 집합 F_good의 각 버킷에 1-희소 복구 서브루틴을 적용한다.
• 비적응형 알고리즘을 사용하여, 좌표 추정과 임계값 설정을 통해 총 O((k/ε) log(εn/k) + (1/ε) log(1/δ))개의 측정값을 사용한다.
• 확률적 방법과 총 변동 거리(Total Variation Distance)를 활용하여 측정 복잡도에 대한 하한을 증명한다.
• 회전 불변성과 가우시안 농도를 활용하여 문제를 두 개의 다변량 가우시안을 구분하는 것으로 환원한다.
• Lemma 54를 적용하여 모든 하이퍼헤비 허터를 포함하는 크기가 O(k)인 슈퍼셋 S를 높은 확률로 구성한다.

실험 결과

연구 질문

• RQ1 COUNT-MIN 스키치의 실패 확률 분석이 매우 낮은 실패 확률 영역에서 최적인지 여부는 무엇이며, 이를 향상시킬 수 있는가?
• RQ2 실패 확률이 매우 낮을 때, COUNT-SKETCH가 ℓ∞/ℓ2 하이퍼헤비 허터 문제에 대해 최적인가?
• RQ3 비적응형 희소 복구 알고리즘이 실패 확률 e^{-k^{0.99}}을 가지며 하위선형 시간을 달성할 수 있는가?
• RQ4 스파iked-covariance 모델에서 ℓ2/ℓ2 희소 복구에 대한 최적의 측정 복잡도는 무엇이며, δ에 대한 의존성은 어떻게 되는가?
• RQ5 매우 낮은 실패 확률 조건 하에서 스파iked-covariance 모델에서 ℓ2/ℓ2 복구에 대해 날카운 하한을 설정할 수 있는가?

주요 결과

• 매우 낮은 실패 확률 조건 하에서, 고전적인 COUNT-SKETCH 데이터 구조가 ℓ∞/ℓ2 하이퍼헤비 허터 문제에 대해 최적임이 입증되어 열린 문제를 해결한다.
• 새로운 랜덤화 알고리즘이 스트릭트 턴스타일 모델에서 COUNT-MIN의 실패 확률을 향상시키며, Gilbert 등(ICALP’13)의 오류를 수정한다.
• 비적응형 희소 복구에 대해 실패 확률이 e^{-k^{0.99}}인 하위선형 시간 알고리즘을 제시하여, Gilbert 등(ICALP’13)의 결과를 향상시킨다.
• 스파iked-covariance 모델에서 측정 복잡도에 대해 상한과 하한이 모두 Ω(ε^{-1} log(1/δ))임을 입증하여 문제의 복잡도를 해결한다.
• 모든 k ≥1 및 충분히 작은 δ에 대해, 스파iked-covariance 모델에서 어떤 ℓ2/ℓ2 알고리즘에 대해서도 Ω(ε^{-1} log(1/δ))의 하한을 증명한다.
• O((k/ε) log(εn/k) + (1/ε) log(1/δ))개의 측정값을 사용하여, ∥x − ˆx∥₂² ≤ (1 + O(ε))∥x−k∥₂²를 확률 1−δ 이상로 달성한다.