[論文レビュー] A Review for Weighted MinHash Algorithms

Wei Wu, Bin Li+3 more|arXiv (Cornell University)|Nov 12, 2018

Text and Document Classification Technologies被引用数 5

ひとこと要約

本稿は、大規模データワークロードにおける一般化ジャコーディ類似度推定のための重み付きMinHashアルゴリズムについて包括的レビューおよび比較分析を提供する。既存手法を量子化ベース、'アクティブインデックス'ベース、およびその他のアプローチに分類し、実装用のPythonツールボックスを導入し、精度、実行時間、分散感度の観点から性能を評価。ICWSおよびI²CWSが精度と効率のバランスにおいて最良のパフォーマンスを示した。

ABSTRACT

Data similarity (or distance) computation is a fundamental research topic which underpins many high-level applications based on similarity measures in machine learning and data mining. However, in large-scale real-world scenarios, the exact similarity computation has become daunting due to "3V" nature (volume, velocity and variety) of big data. In such cases, the hashing techniques have been verified to efficiently conduct similarity estimation in terms of both theory and practice. Currently, MinHash is a popular technique for efficiently estimating the Jaccard similarity of binary sets and furthermore, weighted MinHash is generalized to estimate the generalized Jaccard similarity of weighted sets. This review focuses on categorizing and discussing the existing works of weighted MinHash algorithms. In this review, we mainly categorize the Weighted MinHash algorithms into quantization-based approaches, "active index"-based ones and others, and show the evolution and inherent connection of the weighted MinHash algorithms, from the integer weighted MinHash algorithms to real-valued weighted MinHash ones (particularly the Consistent Weighted Sampling scheme). Also, we have developed a python toolbox for the algorithms, and released it in our github. Based on the toolbox, we experimentally conduct a comprehensive comparative study of the standard MinHash algorithm and the weighted MinHash ones.

研究の動機と目的

• 一般化ジャコーディ類似度推定のための既存の重み付きMinHashアルゴリズムを体系的に分類・分析すること。
• 12種の重み付きMinHash手法における精度、実行時間、分散感度のトレードオフを評価すること。
• MinHashおよび12種の重み付きMinHashアルゴリズムを実装した包括的なPythonツールボックスを開発・公開し、再現可能性のある研究およびベンチマークを可能にすること。
• ストリーミングおよびコンセプトドリフトが発生するデータ環境における既存手法の限界を調査し、未解決の課題を特定すること。

提案手法

• 重み付きMinHashアルゴリズムを3つのグループに分類：量子化ベース（重みをバイナリーサブエレメントに変換）、'アクティブインデックス'ベース（重要なサブエレメントのみをサンプリング）、およびその他の特殊手法。
• 理論的基盤として一貫性のある重み付きサンプリング（CWS）フレームワークを採用し、特にICWS、I²CWS、PCWS、CCWSの変種に注目。
• ターゲット指標として一般化ジャコーディ類似度の公式を採用。ハッシュ関数は重みに比例する確率を保持するように設計。
• CWSに基づく手法でベータ分布およびガンマ分布を用い、一様サンプリングよりも効率的な連続的重み分布からの直接サンプリングを実現。
• 標準MinHash + 12種の重み付き変種の全13アルゴリズムを最適化したコードで実装したカスタムPythonツールボックスを構築。再現可能なベンチマークが可能。
• 合成データおよび実世界のデータセットを用いた大規模な実験を実施。精度（RMSEを用いて）、実行時間、重みの分散感度の観点から比較。

実験結果

リサーチクエスチョン

• RQ1 異なる重み付きMinHashアルゴリズムは、精度、実行時間、重みの分散感度の観点でどのように比較されるか？
• RQ2 重み付きMinHash手法において、理論的正しさ、計算効率、実用的適用性の間には、どのような本質的トレードオフが存在するか？
• RQ3 多様なデータ分布において、精度と効率のバランスを最も良く果たすアルゴリズムはどれか？
• RQ4 特徴空間が拡大し、コンセプトドリフトが発生するストリーミング環境では、既存手法はどのようにスケーリングするか？
• RQ5 CWSフレームワークは、メモリ効率の向上およびコンセプトドリフトへの適応のために、さらに最適化可能か？

主な発見

• ICWSおよびその変種（I²CWSおよびPCWS）は、精度と実行時間のバランスが最も優れており、多数のベンチマークシナリオで他の手法を上回った。
• CCWSはベータ分布およびガンマ分布からの直接サンプリングにより、ICWSおよび関連手法よりもより高い効率性を示したが、重みの分散が大きい場合には性能が低下した。
• [Shrivastava, 2016]の手法は、精度と速度に優れていたが、Syn3A0.2Bでは小さな重みが有効サンプリング比を低下させたため例外的だった。
• 全特徴空間の事前スキャンを要する手法（例：[Gollapudi et al., 2006]）はストリーミングデータに対して非現実的であり、リアルタイム導入が制限された。
• Chum et al. (2008)は最も高速であったが、バイアスを有し理論的誤差境界が存在しないため、正確な類似度推定には不適切であった。
• 本研究では、ストリーミングデータワークロードにおけるコンセプトドリフトおよび動的特徴拡張をサポートするCWSベースの手法の開発が、極めて重要な課題であると判明した。