[論文レビュー] Composable Sketches for Functions of Frequencies: Beyond the Worst Case

Edith Cohen, Ofir Geri+1 more|IT University Of Copenhagen (IT University of Copenhagen)|Apr 9, 2020

Machine Learning and Algorithms参考文献 47被引用数 5

ひとこと要約

本稿では、ノイズの多いML予測値や実世界の周波数分布を活用することで、『難しい』周波数関数（例：高次モーメント（p > 2）やしきい値関数）の正確で小容量のサンプリングを可能にする、合成可能なスケッチを導入する。驚くべきことに、最悪ケースの下界が多項式サイズを要すると示唆しているにもかかわらず、実際には多対数サイズのスケッチが高精度を達成する。

ABSTRACT

Recently there has been increased interest in using machine learning techniques to improve classical algorithms. In this paper we study when it is possible to construct compact, composable sketches for weighted sampling and statistics estimation according to functions of data frequencies. Such structures are now central components of large-scale data analytics and machine learning pipelines. However, many common functions, such as thresholds and p-th frequency moments with p > 2, are known to require polynomial-size sketches in the worst case. We explore performance beyond the worst case under two different types of assumptions. The first is having access to noisy advice on item frequencies. This continues the line of work of Hsu et al. (ICLR 2019), who assume predictions are provided by a machine learning model. The second is providing guaranteed performance on a restricted class of input frequency distributions that are better aligned with what is observed in practice. This extends the work on heavy hitters under Zipfian distributions in a seminal paper of Charikar et al. (ICALP 2002). Surprisingly, we show analytically and empirically that "in practice" small polylogarithmic-size sketches provide accuracy for "hard" functions.

研究の動機と目的

• 周波数統計のスケッチにおいて、理論的最悪ケースの下界と実際の性能の間のギャップを解消すること。
• 特に理論的に『難しい』とされる関数を対象として、重み付きサンプリングおよび周波数関数の統計推定をサポートする合成可能なスケッチを設計すること。
• ノイズの多いML予測値や現実の周波数分布を組み込むことで、最悪ケースを超えた性能を探索すること。
• 実世界のデータ上で、高次モーメント（p > 2）およびしきい値関数を、小容量のスケッチで正確に推定できることを示すこと。

提案手法

• MLモデルからのノイズの多いアドバイスを活用し、周波数関数のサンプリング確率をガイドする合成可能スケッチのフレームワークを提案する。
• 各キーの相対的重みが、順位の低いキーの尾部と比較して、定数cでパラメータ化された、普遍的エミュレーション条件を導入する。
• 多目的凹型・部分線形サンプリングをベーススケッチとして採用し、有界なオーバーヘッドで広範な関数クラスをエミュレートする。
• 補題5.6を適用して、普遍的エミュレーションのオーバーヘッドを h′(1 + 1/c) で上限付ける。ここで h′ は凹型・部分線形関数をエミュレートする際のオーバーヘッドである。
• ℓ₁、ℓ₂、および凹型・部分線形関数から導かれる基本確率を用いたPPS（サイズに比例する確率）サンプリングを用いて、実世界のデータセット上でスケッチの性能を評価する。
• 実際の周波数分布下でのスケッチサイズと推定誤差のトレードオフを分析し、実際には小容量スケッチで十分であることを示す。

実験結果

リサーチクエスチョン

• RQ1 最悪ケースの下界が多項式サイズを要すると示唆しているにもかかわらず、『難しい』周波数関数（例：p > 2、しきい値）に対して、合成可能スケッチが実際には多対数サイズで達成できるか？
• RQ2 アイテムの周波数に対するノイズの多いML予測値を組み込むことで、周波数関数の統計推定におけるスケッチの精度はどのように向上するか？
• RQ3 どのような構造的条件が、周波数分布に満たされていれば、小容量スケッチが広範な周波数関数クラスを正確にエミュレートできるか？
• RQ4 ℓ₁ や ℓ₂ サンプリングといった標準的なスケッチが、実世界データ上での『難しい』関数に対して、どの程度普遍的エミュレータとして機能するか？

主な発見

• 最悪ケースの下界が多項式サイズを要すると示唆しているにもかかわらず、実世界のデータセット上では多対数サイズのスケッチが、高次周波数モーメント（p > 2）およびしきい値関数の推定において高精度を達成する。
• 実際の分布下で ℓ₁ および凹型・部分線形スケッチの普遍的エミュレーションオーバーヘッドは [92, 1673] の範囲に抑えられ、hε⁻² ≪ n の条件下では実用的に意味を持つ。
• ℓ₂に基づくスケッチは高次モーメントに対しては良好に機能するが、『成長が遅い』関数に対しては尾部カバレッジが悪いため、エミュレーションオーバーヘッドが悪くなる。
• minᵢ (iwᵢ / ∑ⱼ>i wⱼ) ≥ c を満たす周波数分布が存在すれば、スケッチはすべての凹型・部分線形関数を、オーバーヘッド h′(1 + 1/c) で普遍的にエミュレート可能である。
• 実験的結果から、『簡単』な関数（例：ℓ₁、ℓ₂）向けに設計されたスケッチでさえ、実世界のデータ上では『難しい』関数を正確に推定でき、特に重尾分布の下で顕著に優れた性能を示す。
• キャッピング関数条件による普遍的エミュレーションの枠組みは、理論的制限があるにもかかわらず、実際には小容量スケッチが優れた性能を発揮する理由を理論的に裏付けるものである。