[論文レビュー] On Low-Risk Heavy Hitters and Sparse Recovery Schemes

Yi Li, Vasileios Nakos+1 more|arXiv (Cornell University)|Sep 9, 2017

Atomic and Subatomic Physics Research参考文献 31被引用数 3

ひとこと要約

本稿は、先行研究における誤りを是正し、指数的かつ非常に小さい失敗確率を伴う部分線形時間アルゴリズムを導入することで、低失敗確率におけるハブヘッダーおよびスパース回復の理論を進展させた。また、スパイク共分散モデルにおける ℓ2/ℓ2 スパース回復問題に対して、タイトな境界を確立した。COUNT-SKETCH が非常に低い失敗確率下で最適であることを証明し、測定回数の上限と下限が一致することを示し、このモデルにおける問題の複雑さを解消した。

ABSTRACT

We study the heavy hitters and related sparse recovery problems in the low failure probability regime. This regime is not well-understood, and the main previous work on this is by Gilbert et al. (ICALP'13). We recognize an error in their analysis, improve their results, and contribute new sparse recovery algorithms, as well as provide upper and lower bounds for the heavy hitters problem with low failure probability. Our results are summarized as follows: 1) (Heavy Hitters) We study three natural variants for finding heavy hitters in the strict turnstile model, where the variant depends on the quality of the desired output. For the weakest variant, we give a randomized algorithm improving the failure probability analysis of the ubiquitous Count-Min data structure. We also give a new lower bound for deterministic schemes, resolving a question about this variant posed in Question 4 in the IITK Workshop on Algorithms for Data Streams (2006). Under the strongest and well-studied l_{infty}/ l_2 variant, we show that the classical Count-Sketch data structure is optimal for very low failure probabilities, which was previously unknown. 2) (Sparse Recovery Algorithms) For non-adaptive sparse-recovery, we give sublinear-time algorithms with low-failure probability, which improve upon Gilbert et al. (ICALP'13). In the adaptive case, we improve the failure probability from a constant by Indyk et al. (FOCS '11) to e^{-k^{0.99}}, where k is the sparsity parameter. 3) (Optimal Average-Case Sparse Recovery Bounds) We give matching upper and lower bounds in all parameters, including the failure probability, for the measurement complexity of the l_2/l_2 sparse recovery problem in the spiked-covariance model, completely settling its complexity in this model.

研究の動機と目的

• ハブヘッダーおよびスパース回復問題における低失敗確率領域における理解の不足を解消すること。
• Gilbert ら (ICALP’13) の失敗確率解析における誤りを是正し、彼らの結果を改善すること。
• 指数的かつ非常に小さい失敗確率を伴う新しい部分線形時間スパース回復アルゴリズムを開発すること。
• スパイク共分散モデルにおける ℓ2/ℓ2 スパース回復の測定回数のタイトな上限および下限を確立すること。
• 決定的スキームおよび低失敗確率下での COUNT-SKETCH の最適性に関する未解決の問題を解消すること。

提案手法

• 座標を [n] から [log^c₀ n] へのハッシュ関数 h: [n] → [log^c₀ n] を用いてバケットに分割し、各ハブヘッダーが高確率で一意なバケットに入るよう保証する。
• F_good に属するバケット（正確に1つのハブヘッダーを持つバケット）に対して、1スパース回復サブルーチンを適用する。
• 非適応的アルゴリズムを用い、座標を推定し、しきい値処理を施すことにより、O((k/ε) log(εn/k) + (1/ε) log(1/δ)) の測定回数を達成する。
• 確率的技法と全 Variation 距離を用いて、測定回数の下限を証明する。
• 回転不変性とガウス分布の集中性を活用し、問題を2つの多変量ガウス分布の区別問題に還元する。
• Lemma 54 を用いて、高確率ですべてのハブヘッダーを含む、サイズ O(k) のスーパーセット S を構築する。

実験結果

リサーチクエスチョン

• RQ1 COUNT-MIN スケッチの失敗確率解析は、低失敗確率領域で最適であり得るか。また、改善可能か？
• RQ2 失敗確率が極めて低い場合に、COUNT-SKETCH は ℓ∞/ℓ2 ハブヘッダー問題において最適か？
• RQ3 非適応的スパース回復アルゴリズムは、失敗確率 e^{-k^{0.99}} を達成する部分線形時間アルゴリズムを実現可能か？
• RQ4 スパイク共分散モデルにおける ℓ2/ℓ2 スパース回復の最適測定回数は何か。δ に依存するか？
• RQ5 低失敗確率下において、スパイク共分散モデルにおける ℓ2/ℓ2 回復に対してタイトな下限を確立可能か？

主な発見

• 古典的な COUNT-SKETCH データ構造は、非常に低い失敗確率下で ℓ∞/ℓ2 ハブヘッダー問題において最適であり、未解決の問題を解消した。
• 新たな確率的アルゴリズムにより、ストレクト・ターンスタイルモデルにおける COUNT-MIN の失敗確率が改善され、Gilbert ら (ICALP’13) の誤りが是正された。
• 非適応的スパース回復において、失敗確率 e^{-k^{0.99}} を達成する部分線形時間アルゴリズムが得られ、Gilbert ら (ICALP’13) の結果を改善した。
• スパイク共分散モデルにおける測定回数の上限と下限が、両方とも Ω(ε^{-1} log(1/δ)) であることが確立され、その複雑さが解消された。
• 任意の ℓ2/ℓ2 アルゴリズムについて、k ≥1 かつ十分に小さい δ に対して、Ω(ε^{-1} log(1/δ)) の下限が証明された。
• O((k/ε) log(εn/k) + (1/ε) log(1/δ)) の測定回数を用いて、∥x − ˆx∥₂² ≤ (1 + O(ε))∥x−k∥₂² が確率 1−δ 以上で成立する。