[論文レビュー] Count-Min Tree Sketch: Approximate counting for NLP

Guillaume Pitel, Geoffroy Fouquier+2 more|arXiv (Cornell University)|Apr 19, 2016

Advanced Database Systems and Queries参考文献 10被引用数 3

ひとこと要約

本稿では、テキストデータのZipf分布を活用する新規な近似カウンティングデータ構造であるCount-Min Tree Sketch (CMTS) を提案する。ピラミッド型カウンタとバリアビットを組み合わせることで、相対誤差を顕著に低減する。CMTSは、理想的なストレージサイズにおいて、標準的なCount-Min Sketchに比べて平均相対誤差 (ARE) を最大100倍低く抑え、同等の誤差水準ではサイズを800%改善し、カウントおよびPMI推定精度の両面で対数的変種を上回る性能を発揮する。

ABSTRACT

The Count-Min Sketch is a widely adopted structure for approximate event counting in large scale processing. In a previous work we improved the original version of the Count-Min-Sketch (CMS) with conservative update using approximate counters instead of linear counters. These structures are computationaly efficient and improve the average relative error (ARE) of a CMS at constant memory footprint. These improvements are well suited for NLP tasks, in which one is interested by the low-frequency items. However, if Log counters allow to improve ARE, they produce a residual error due to the approximation. In this paper, we propose the Count-Min Tree Sketch (Copyright 2016 eXenSa. All rights reserved) variant with pyramidal counters, which are focused toward taking advantage of the Zipfian distribution of text data.

研究の動機と目的

• NLPにおける低頻度語の近似カウンティングにおいて、標準的なCount-Min Sketch (CMS) が絶対誤差の上限は良好であるものの、相対誤差が著しく高い問題に対処すること。
• テキストデータの語頻度に内在するZipf分布を活用することで、既存の近似カウンタ（例：Count-Min-Log）を改善すること。
• 低頻度イベントの高精度を維持しつつ、ネイティブディクショナリ実装と同等の計算コストで実現可能なメモリ効率の良いスケッチ構造を設計すること。
• 実際のNLPワークロードにおけるCMTSの性能を、CMSおよびCount-Min-Log変種の相対誤差、絶対誤差、PMI推定精度の観点から評価すること。

提案手法

• CMTSは、カウンティングビットとバリアビットを備えた階層的ツリー構造を採用し、バリアビットがより高精度なカウンティングレイヤーの開始を示す。
• カウンタの値は、v = c + 2×(2^b − 1) で計算され、ここでbは上位ビットから連続して1に設定されたバリアビットの数であり、cは続くb+1個のカウンティングビットの値である。
• カウンタのインクリメントは、新しいバリアカウントnb = min(layers, lsb((nv+2)/4)) を再計算し、対応するビットをカウンタ構造に設定することで実行される。
• 共有ビットの処理およびマルチレベル競合時のオーバーフローを考慮した、変更済みのgetおよびsetアルゴリズムを用いて、効率的なマージとクエリが可能である。
• スケッチは128ビットのベースと32ビットのスプライアを用い、一度1に設定されたバリアビットは変更不能であり、これにより対数的成長に類似した挙動を実現しつつ、より優れた精度制御が可能になる。
• 過剰カウントを低減するため、保守的更新（CU）と統合され、高負荷のメモリ制約下でも評価されている。

実験結果

リサーチクエスチョン

• RQ1 ツリー構造に基づく近似カウンティング構造は、テキストデータのZipf分布を活用することで、標準的なCount-Min Sketchと比較して低頻度語の相対誤差を低減できるか？
• RQ2 Count-Min-Logと比較して、CMTSはユニグラムおよびビグラムカウントにおいて、平均相対誤差（ARE）および平均二乗誤差（RMSE）の観点でどの程度優れているか？
• RQ3 CMTSは、メモリ制約下において、ポイントワイズ相互情報量（PMI）推定などの下流NLPタスクの精度をどの程度向上させるか？
• RQ4 特にマルチスレッド環境において、CMTSの計算効率はネイティブハッシュマップおよび標準的なCMSと比較してどの程度か？

主な発見

• 理想的なストレージサイズ（100%）において、CMTSは平均相対誤差（ARE）が10^-3に達し、これは標準的なCount-Min Sketchの100倍低い。
• 理想的なストレージサイズにおいて、CMTSはCMSに比べてAREを100倍低減し、同等の誤差水準ではサイズ改善比が約800%に達する。
• PMI推定において、CMTSは理想的なストレージサイズでRMSEにおいてCMSを10倍上回り、極度のメモリ圧力下でも優れた性能を維持する。
• 極端なメモリ圧力（理想サイズの10%未満）下ではCMTSは他の変種よりも劣化が著しくなるが、その結果として得られる誤差（RMSE ~2.5、ARE ~31）は実用的でないため、現実的なメモリ環境下でも有効であることが示された。
• CMTSはネイティブC++unordered_map構造と計算的に同等の性能を示し、非常に低い誤差水準（10^-5）でも、スレッドセーフでない環境下でも精度の劣化が最小限に抑えられる。
• Count-Min-Log変種（CMLS16-CUおよびCMLS8-CU）は、理想サイズの200%を超えると、残存する近似誤差のため利得が減少するが、CMTSはメモリ割り当てを増やすことで継続的に改善を示す。