[論文レビュー] New Algorithms for Heavy Hitters in Data Streams

David P. Woodruff|arXiv (Cornell University)|Mar 5, 2016

Data Mining Algorithms and Applications参考文献 31被引用数 6

ひとこと要約

本論文は、メモリ使用量を著しく削減することで、データストリームにおけるℓ₁-およびℓ₂-ヘヴィーホルダーを特定するための新しい確率的アルゴリズムを提示する。ガウス過程およびベルヌーイ過程を活用し、デランドマイズド・ジョンソン＝リンドンストロム変換と、ニーサンの擬似乱数生成器によるハッシュ関数のデランドマイズを組み合わせることで、ℓ₂-ヘヴィーホルダーに対して最適なO(log n)の空間計算量を達成し、従来のΩ(ε⁻¹ log n)以上の空間計算量を必要としていた手法を改善する。

ABSTRACT

An old and fundamental problem in databases and data streams is that of finding the heavy hitters, also known as the top-$k$, most popular items, frequent items, elephants, or iceberg queries. There are several variants of this problem, which quantify what it means for an item to be frequent, including what are known as the $\ell_1$-heavy hitters and $\ell_2$-heavy hitters. There are a number of algorithmic solutions for these problems, starting with the work of Misra and Gries, as well as the CountMin and CountSketch data structures, among others. In this survey paper, accompanying an ICDT invited talk, we cover several recent results developed in this area, which improve upon the classical solutions to these problems. In particular, with coauthors we develop new algorithms for finding $\ell_1$-heavy hitters and $\ell_2$-heavy hitters, with significantly less memory required than what was known, and which are optimal in a number of parameter regimes.

研究の動機と目的

• 最小限のメモリ使用量で、頻度の高いアイテム（「ゾウ」）を特定するという、データストリームにおける基本的問題に対処すること。
• ミトラ＝グリーズ、カウントミン、カウントスケッチといった古典的手法を改善し、ℓ₁-およびℓ₂-ヘヴィーホルダーの両方の空間計算量を低減すること。
• 高度な確率的技法とデランドマイズを用いて、ℓ₂-ヘヴィーホルダーのための証明可能に正しい、空間最適なアルゴリズムを開発すること。
• 敵対的ストリーム順序下でも強力な正確性保証を維持しながら、空間使用量を最小限に抑えることで、ヘヴィーホルダーのアルゴリズムの実用的導入を可能にすること。

提案手法

• ストリーム内の頻度カウンタの挙動をモデル化するためにガウス過程を用い、高い確率でアイテムの頻度を正確に推定可能にする。
• 頻度ベクトルの次元をnからO(log n)にまで低減するため、デランドマイズド・ジョンソン＝リンドンストロム変換を用いることで、解析に適した共分散構造を保持する。
• 連続的なガウス変数の代わりに符号ランダム変数（ベルヌーイ過程）を用いることで、切り捨ての問題を回避し、計算を効率化する。
• ニーサンの擬似乱数生成器を適用して、アルゴリズムで使用されるハッシュ関数をデランドマイズし、正しさを維持しながら空間使用量を削減する。
• 二段階のアプローチを設計：最初にヘヴィーホルダーのノイズの多いビットを学習し、その後初期の信頼性の低いビットを除外して、更新の末尾部分に注目することで真のアイテムを回復する。
• スレピアンの補題を用いて、元のガウス過程とデランドマイズド・ガウス過程を比較し、定数倍の要因内で統計的性質が保持されることを保証する。

実験結果

リサーチクエスチョン

• RQ1 定数パラメータに対してεおよびφに依存せず、O(log n)ビットの空間でℓ₂-ヘヴィーホルダーを特定できるか？
• RQ2 ガウス過程をどのように効果的にデータストリームアルゴリズムに応用すれば、空間効率を維持しながら正確性を確保できるか？
• RQ3 カウンツケッチのような確率的データ構造に対して、空間を削減しながら正しさを損なわずに適用可能なデランドマイズ技術は何か？
• RQ4 ベルヌーイ過程をガウス過程に置き換えることで、ヘヴィーホルダーのアルゴリズムの理論的保証を維持できるか？
• RQ5 ℓ₂-ヘヴィーホルダー問題を解くために必要な最小空間計算量は何か？ また、1パスで動作する確率的アルゴリズムによって達成可能か？

主な発見

• 提案されたアルゴリズムは、ℓ₂-ヘヴィーホルダーに対して最適なO(log n)の空間計算量を達成し、従来のΩ(ε⁻¹ log n)ビットを必要としていた境界を改善する。
• デランドマイズド・ジョンソン＝リンドンストロム変換の使用により、頻度ベクトルの次元がnからO(log n)にまで低減され、計算が効率的に行えるようになる。
• ベルヌーイ過程がアルゴリズムの正しさを満たすために十分であることが示され、より複雑なガウス変数の代わりに使用可能であり、切り捨ての問題も回避できる。
• ニーサンの擬似乱数生成器がハッシュ関数のデランドマイズに成功し、空間使用量を削減しながらもアルゴリズムの正確性を維持した。
• 初期のビットが汚染されていても、ストリームの末尾部分に注目することで、十分な更新後には正しくヘヴィーホルダーを特定できる。
• このフレームワークにより、O(log n log log n)ビットの空間でストリームのすべての時点で第二モーメントF₂を推定できる新たな応用が可能となり、従来のΘ(log²n)の境界を改善する。