[論文レビュー] Hokusai - Sketching Streams in Real Time

Sergiy Matusevych, Alex Smola+1 more|arXiv (Cornell University)|Oct 16, 2012

Data Management and Algorithms参考文献 12被引用数 10

ひとこと要約

Hokusai は、CountMin スケッチにおける要因分解近似を用いて、任意のシンボルストリームの周波数統計をリアルタイムで追跡するシステムを提案する。スケッチの線形性を活用することで、任意の（時刻、アイテム）組み合わせにおける定数時間のポイントクエリを可能にし、Web クエリログやネットワークトラフィックストリームなどの動的データワークロードにおける低メモリ・低レイテンシの分析を実現する。

ABSTRACT

We describe Hokusai, a real time system which is able to capture frequency information for streams of arbitrary sequences of symbols. The algorithm uses the CountMin sketch as its basis and exploits the fact that sketching is linear. It provides real time statistics of arbitrary events, e.g. streams of queries as a function of time. We use a factorizing approximation to provide point estimates at arbitrary (time, item) combinations. Queries can be answered in constant time.

研究の動機と目的

• データベースや AI システムにおける高速度データストリームに対するリアルタイム周波数統計のニーズに対応すること。
• 従来のスケッチ手法が時刻とアイテムの両方で任意のポイントクエリをサポートする点で抱える制限を克服すること。
• 動的ストリームにおける任意の（時刻、アイテム）組み合わせでの周波数カウントに対して、効率的かつ定数時間で応答するクエリを実現すること。
• Web クエリやネットワークイベントなどのリアルタイムでのイベント周波数モニタリングに適したスケーラブルでメモリ効率の良いソリューションを提供すること。
• 時間とアイテムの両方で周波数データを圧縮・再構成可能にする要因分解近似を導入すること。

提案手法

• 低メモリ使用量で確率的周波数推定を提供する CountMin スケッチデータ構造を基盤とする。
• スケッチの線形性を活用して、時間経過に伴うストリーミングデータのコンact表現を維持する。
• 時間要因とアイテム要因の積として、時間とアイテムの両方における周波数分布の結合分布をモデル化する要因分解近似を適用する。
• 行列因子分解を用いて、スケッチ要約から任意の（時刻、アイテム）ペアにおけるポイント周波数を推定する。
• 新しいストリーム要素の到着に伴い、スケッチおよび因子分解モデルを段階的に更新できる。
• 事前に要因分解されたコンponentsを計算・保存することで、定数時間のクエリ解決を実現する。

実験結果

リサーチクエスチョン

• RQ1 ストリーミングシステムは、低メモリ使用量と低レイテンシを維持しながら、任意のシンボル列の周波数統計をリアルタイムで効率的に維持できるか？
• RQ2 スケッチ技術をどのように拡張すれば、完全な周波数行列を格納せずに、任意の（時刻、アイテム）組み合わせにおけるポイントクエリをサポートできるか？
• RQ3 時間とアイテムの両方で、正確な周波数推定を実現しつつ、定数時間のクエリパフォーマンスを維持できる近似戦略は何か？
• RQ4 要因分解近似は、動的データワークロードにおける正確な周波数追跡と比較して、どの程度の精度を保持するか？
• RQ5 高速度データストリームに対して、低メモリ使用量と低レイテンシ応答時間を維持しながらスケーラブルに拡張できるか？

主な発見

• Hokusai は、任意の（時刻、アイテム）ペアにおける周波数推定に対して定数時間の応答を達成し、ライブデータストリームにおけるインタラクティブ分析を可能にする。
• CountMin スケッチと要因分解近似に依存することで、完全な周波数行列の格納を避けることにより、低メモリ使用量を維持する。
• 要因分解近似により、高速度データストリームであっても、時間とアイテムの両方で正確なポイント推定が可能である。
• 段階的更新が可能であるため、継続的なデータを処理する生産環境システムに適している。
• 評価では、Hokusai が最小限のオーバーヘッドで高い周波数推定精度を達成しており、Web クエリやネットワークイベントのリアルタイムモニタリングに適している。
• このアプローチは汎用的であり、ログやクエリ、ネットワークパケットなど、任意のシンボルストリームに最小限のチューニングで適用可能である。