[論文レビュー] V-SMART-Join: A Scalable MapReduce Framework for All-Pair Similarity Joins of Multisets and Vectors

Ahmed Metwally, Christos Faloutsos|arXiv (Cornell University)|Apr 26, 2012

Data Quality and Management参考文献 32被引用数 10

ひとこと要約

V-SMART-Join は、部分結果の集約を活用して効率的な類似度計算を可能にする、スケーラブルな2段階の MapReduce フレームワークであり、集合、多重集合、ベクトルの正確な全ペア類似度ジョインを実行する。実世界の IP およびクッキーのデータセットにおいて、最先端の VCL アルゴリズムと比較して最大 30 倍の高速化を達成し、大規模で偏ったデータ分布において優れたスケーラビリティを示す。

ABSTRACT

This work proposes V-SMART-Join, a scalable MapReduce-based framework for discovering all pairs of similar entities. The V-SMART-Join framework is applicable to sets, multisets, and vectors. V-SMART-Join is motivated by the observed skew in the underlying distributions of Internet traffic, and is a family of 2-stage algorithms, where the first stage computes and joins the partial results, and the second stage computes the similarity exactly for all candidate pairs. The V-SMART-Join algorithms are very efficient and scalable in the number of entities, as well as their cardinalities. They were up to 30 times faster than the state of the art algorithm, VCL, when compared on a real dataset of a small size. We also established the scalability of the proposed algorithms by running them on a dataset of a realistic size, on which VCL never succeeded to finish. Experiments were run using real datasets of IPs and cookies, where each IP is represented as a multiset of cookies, and the goal is to discover similar IPs to identify Internet proxies.

研究の動機と目的

• 偏った分布を示すインターネット規模のデータセットにおける類似度ジョインのスケーラビリティのギャップを解消すること。
• 分散環境である MapReduce において、集合、多重集合、ベクトルの間で正確な全ペア類似度ジョインを可能にすること。
• VCL などの既存のアルゴリズムが、メモリ制限およびスケーラビリティのボトルネックにより大規模データセットで失敗するという制限を克服すること。
• 広範な展開と採用を可能にするために、パブリック Hadoop と互換性を持つフレームワークを設計すること。
• ISP トラフィックにおける負荷分散の代理を特定するために、クッキー多重集合の類似度を用いて類似する IP アドレスを検出すること。

提案手法

• フレームワークは2段階の MapReduce 手法を採用する：まず、部分的な類似度結果（例：共通要素数、和集合数）を計算・結合し、次に候補ペアに対してのみ正確な類似度を計算する。
• 交差集合や個々のエンティティのスキャンによって部分結果を計算可能な名目的類似度測度（例：ジャコーディ係数、ダイス係数、コサイン類似度）を活用する。
• サイズの偏りに基づいてエンティティをシャーディング済みおよびシャーディング未実施のグループに分割し、大規模なエンティティを完全にメモリに読み込まずに効率的に処理できるようにする。
• マッパー段階では、要素の頻度とエンティティ ID をもとにキー・バリューのペアを出力し、共有要素でグループ化を可能にする。
• リデューサー段階では、1段階目で特定された候補ペアに対してのみ最終的な類似度スコアを計算し、冗長な計算を最小限に抑える。
• 特に大規模なアトムと偏ったデータを扱う分散環境において、メモリとスケーラビリティの問題が生じるため、プレフィックスフィルタリングを回避する設計である。

実験結果

リサーチクエスチョン

• RQ1 MapReduce を基盤とするフレームワークは、インターネット規模の多重集合およびベクトルの全ペア類似度ジョインを効率的に計算できるか？
• RQ2 偏ったデータ分布を示す分散環境において、類似度計算をどのようにしてスケーラブルかつ正確に実現できるか？
• RQ3 なぜプレフィックスフィルタリングは、順次処理環境では候補ペアを削減するが、MapReduce 環境ではスケーラビリティを欠くのか？
• RQ4 MapReduce におけるどのようなアーキテクチャ的選択が、VCL などの最先端のアルゴリズムよりも顕著なパフォーマンス向上を実現できるのか？
• RQ5 大規模でスパースで偏ったデータセットを処理する中で、フレームワークはどのようにして効率性とパブリック Hadoop との互換性を維持できるか？

主な発見

• V-SMART-Join は、実世界の小規模から中規模のデータセットにおいて、最先端の VCL アルゴリズムと比較して最大 30 倍の高速化を達成した。
• VCL が処理を完了できなかった大規模データセットを、フレームワークが正常に処理できたことから、優れたスケーラビリティを示した。
• 2段階設計（部分結果の集約 → 精確な類似度計算）により、正確性を損なわず、顕著なパフォーマンス向上が達成された。
• プレフィックスフィルタリングは、この文脈では効果が薄く、特に類似度閾値が低い場合（例：t=0.1）には、高いメモリオーバーヘッドと限定的な利点が見られたため、無効であった。
• エンティティサイズに基づくシャーディングにより、大規模なエンティティの処理が効率的に行え、完全なメモリロードを回避し、全体のスループットが向上した。
• フレームワークはパブリック Hadoop と完全に互換性があり、生産環境での広範な展開と採用が可能である。