[論文レビュー] Frequency Estimation in Data Streams: Learning the Optimal Hashing Scheme

Dimitris Bertsimas, Vassilis Digalakis|arXiv (Cornell University)|Jul 17, 2020

Caching and Content Delivery参考文献 48被引用数 5

ひとこと要約

本稿では、混合整数線形計画法（MILP）と機械学習を用いてハッシング方式を最適化することで、データストリームにおける周波数推定のための学習ベースのアプローチを提案する。事前に観測されたストリーム接頭部を活用し、既知の要素の近似的に最適なハッシュ割り当てを計算し、未知の要素に対しては分類器を訓練することで、最先端の手法と比較して平均推定誤差が1〜2桁低下し、期待される誤差の大きさも45〜90%低減する。

ABSTRACT

We present a novel approach for the problem of frequency estimation in data streams that is based on optimization and machine learning. Contrary to state-of-the-art streaming frequency estimation algorithms, which heavily rely on random hashing to maintain the frequency distribution of the data steam using limited storage, the proposed approach exploits an observed stream prefix to near-optimally hash elements and compress the target frequency distribution. We develop an exact mixed-integer linear optimization formulation, which enables us to compute optimal or near-optimal hashing schemes for elements seen in the observed stream prefix; then, we use machine learning to hash unseen elements. Further, we develop an efficient block coordinate descent algorithm, which, as we empirically show, produces high quality solutions, and, in a special case, we are able to solve the proposed formulation exactly in linear time using dynamic programming. We empirically evaluate the proposed approach both on synthetic datasets and on real-world search query data. We show that the proposed approach outperforms existing approaches by one to two orders of magnitude in terms of its average (per element) estimation error and by 45-90% in terms of its expected magnitude of estimation error.

研究の動機と目的

• 限られたストレージ容量の中で高ボリュームのデータストリームにおける周波数推定の課題に対処すること。
• 観測済みのストリーム接頭部から最適または近似的に最適なハッシング方式を学習することで、ランダムハッシングを改善すること。
• 推定誤差を顕著に低減しつつ、低メモリ使用量とリアルタイム性能を維持する手法を開発すること。
• ハイブリッド最適化と機械学習のアプローチにより、既知および未知の両方の要素に対して正確な周波数推定を可能にすること。

提案手法

• 観測済みストリーム接頭部に含まれる要素の推定誤差を最小化する目的で、最適ハッシング問題を混合整数線形計画問題（MILP）として定式化する。
• 大規模なインスタンスに対してスケーラブルに解を得るため、ブロック座標降下法を採用し、特殊ケースには正確な動的計画法を適用する。
• 分数誤差と共同ハッシング確率に起因する二項項を線形化するために補助変数を導入する。
• 未知の要素をその特徴に基づいてバケットにマッピングする分類器を訓練し、リアルタイムでの周波数推定を可能にする。
• 各バケット内の周波数の平均値を用いて頻度推定値を得るスケッチベースの照会メカニズムを採用する。
• ブールフィルタを用いた適応的更新により、新たに観測された要素の頻度カウントを維持する。

実験結果

リサーチクエスチョン

• RQ1 ストリーム接頭部に含まれる要素に対して、周波数推定誤差を最小化する最適ハッシング方式を学習できるか？
• RQ2 機械学習を用いて未知の要素へ最適ハッシングを拡張できるか。その際、低メモリ使用量とリアルタイム性能を維持できるか？
• RQ3 学習ベースのハッシングは、ランダムハッシングと比較して推定誤差の観点でどの程度の性能向上を達成できるか？
• RQ4 大規模なデータストリームに対して、提案された最適化と学習フレームワークのスケーラビリティはどの程度か？

主な発見

• 提案手法は、既存のストリーミングアルゴリズムと比較して、1要素あたりの平均推定誤差を1〜2桁低減する。
• 推定誤差の期待値の大きさは、ベースライン手法と比較して45〜90%低減される。
• MILP定式化により、数千要素の問題に対して正確な解が得られ、ブロック座標降下法は数万要素の規模までスケーリング可能である。
• 動的計画法の変種は、特殊ケースを線形時間で解けるため、構造的インスタンスに対して計算効率が優れていることが示された。
• 実世界の検索クエリデータを用いた実験評価により、最先端のストリーミング周波数推定器を上回る性能が確認された。
• 学習後は更新および照会処理時間が一定を保ち、リアルタイム性とサブ線形メモリ制約を満たす。