[論文レビュー] Deterministic Heavy Hitters with Sublinear Query Time

Yi Li, Vasileios Nakos|arXiv (Cornell University)|Dec 5, 2017

SARS-CoV-2 detection and testing被引用数 2

ひとこと要約

本稿は、サブラインア時間で動作する最良のスーパーライニアータイムアルゴリズムより僅かに大きな log* 要因の O(ϵ⁻² log*ϵ⁻¹) 行を有する、転倒型ストリーミングモデルにおける ℓ1 ヒービーハイターズのための最初の決定的スケッチアルゴリズムを提示する。これは、階層的分解と行列合成に基づく再帰的・反復的回復フレームワークを用いることで、強い ℓ∞/ℓ1 誤差保証を維持しながら高速なデコードを可能にする。

ABSTRACT

This paper studies the classic problem of finding heavy hitters in the turnstile streaming model. We give the first deterministic linear sketch that has $O(ε^{-2} \log n \cdot \log^*(ε^{-1}))$ rows and answers queries in sublinear time. The number of rows is only a factor of $\log^*(ε^{-1})$ more than that used by the state-of-the-art algorithm prior to our paper due to Nelson, Nguyen and Woodruff (RANDOM'12). Their algorithm runs in time at least linear in the universe size $n$, which is highly undesirable in streaming applications. Our approach is based on an iterative procedure, where most unrecovered heavy hitters are identified in each iteration. Although this technique has been extensively employed in the related problem of sparse recovery, this is the first time, to the best of our knowledge, that it has been used in the context of $\ell_1$ heavy hitters. Along the way, we also give sublinear time algorithms for the closely related problems of combinatorial group testing and $\ell_1/\ell_1$ compressed sensing, matching the space usage of previous (super-)linear time algorithms.

研究の動機と目的

• 一般転倒型モデルにおける、サブラインア時間での ℓ1 ヒービーハイターズのための決定的スケッチアルゴリズムを設計すること。
• ℓ∞/ℓ1 誤差保証下で一様な再構成（「すべてのための」保証）を保証しつつ、スケッチサイズを最小限に抑えること。
• スーパーライニアータイムアルゴリズムと同等の近似的最適な空間使用量を達成しつつ、著しく高速なデコード時間を実現すること。
• 強い明示的構成が、厳密な転倒型モデルにおいて、近似的最適な行数でサブラインアデコードを達成できるかどうかを調査すること。

提案手法

• 各ラウンドで最も回復されていないヒービーハイターズを特定する反復的回復手順を採用し、入力ベクトルの階層的分解を活用する。
• 再帰的行列合成戦略を用いる：深さ log logk n の二分木を用いてインデックスを上位ビットと下位ビットに分割することで、問題をより小さな部分問題に分解する。
• 与えられたサポート集合 S に対して O(k)-スパース回復を時間 T(n,k,|S|) で行える、O(k² log²n) 行の基本スケッチ行列族 Mn,k を適用する。
• 上位ビットおよび下位ビット成分の結果を、写像 π: [n] → [N1] × [N2] を用いて積集合として組み合わせ、ヒービーハイターズのインデックスが回復されたサポートの共通部分に属することを保証する。
• 一般転倒型モデルにおけるロバスト性を確保するために、リスト再構築可能符号および拡張子ベースの構成を暗黙的に用いる。
• 部分問題が十分に小さくなる（≤25k²）まで再帰的分解を繰り返し、各成分に対して基本回復を適用し、結果を統合して最終的な O(k)-スパース推定値を得る。

実験結果

リサーチクエスチョン

• RQ1 決定的スケッチアルゴリズムが、一般転倒型モデルにおいて、近似的最適な空間使用量を維持しながらサブラインア時間での ℓ1 ヒービーハイターズを達成できるか？
• RQ2 決定的ヒービーハイターズのためのサブラインアデコード時間に到達するために、スケッチサイズの最小限のオーバーヘッド（ϵ⁻² の観点から）は何か？
• RQ3 再帰的行列合成フレームワークを用いることで、ℓ∞/ℓ1 誤差保証を維持しながら、デコード時間を O(n) から o(n) に短縮できるか？
• RQ4 厳密な転倒型モデルにおいて、O(ϵ⁻² log n) 行とサブラインアデコード時間を有する強い明示的行列を構築することは可能か？
• RQ5 デターミニズムやスケッチサイズを犠牲にすることなく、実行時間における ϵ 依存性を O(ϵ⁻² poly(log n)) に改善できるか？ ▶

主な発見

• 本稿は、一般転倒型モデルにおいて、サブラインア時間で動作する ℓ1 ヒービーハイターズのための最初の決定的スケッチアルゴリズムを達成し、スケッチ長が O(ϵ⁻² log*ϵ⁻¹) に抑えられ、最良のスーパーライニアータイムアルゴリズムより僅かに大きな log* 要因に留まる。
• 厳密な転倒型モデルにおいて、本アルゴリズムは O(ϵ⁻² log³n / log³(1/ϵ)) 行と O(ϵ⁻³ log³n) デコード時間を達成し、強い明示的構成が可能である。
• 再帰的分解フレームワークにより、各レベルで問題サイズを縮小することでサブラインアデコードが可能になり、深さ log logk n の二分木が用いられる。
• 本手法により、ℓ∞/ℓ1 誤差保証が維持される：k = ⌈1/ϵ⌉ として、∥x − ˆx∥∞ ≤ 1/k ∥x−k∥₁ が成り立つ。
• 従来のスーパーライニアータイムアルゴリズムと同等の空間使用量を達成しつつ、サブラインア時間でのクエリを実現している。
• 反復的回復と階層的分解が、スパース回復にとどまらずヒービーハイターズにも効果的に適用可能であることを示しており、決定的ストリーミングアルゴリズムの新たな道筋を切り開いた。