[論文レビュー] PASS-JOIN: A Partition-based Method for Similarity Joins

Guoliang Li, Dong Deng+2 more|arXiv (Cornell University)|Nov 30, 2011

Data Quality and ManagementDecision Sciences参考文献 10被引用数 22

ひとこと要約

PASS-JOIN は、編集距離制約下での効率的な文字列類似度ジョインを実現するパーティションベースの手法であり、セグメントベースの部分文字列選択とインverted indices を用いて候補ペアの数を最小化する。部分文字列の適応的選択および新規の pruning と検証技術を適用することで、短い文字列および長い文字列の両方において最先端の手法を上回る性能を発揮する。

ABSTRACT

As an essential operation in data cleaning, the similarity join has attracted considerable attention from the database community. In this paper, we study string similarity joins with edit-distance constraints, which find similar string pairs from two large sets of strings whose edit distance is within a given threshold. Existing algorithms are efficient either for short strings or for long strings, and there is no algorithm that can efficiently and adaptively support both short strings and long strings. To address this problem, we propose a partition-based method called Pass-Join. Pass-Join partitions a string into a set of segments and creates inverted indices for the segments. Then for each string, Pass-Join selects some of its substrings and uses the selected substrings to find candidate pairs using the inverted indices. We devise efficient techniques to select the substrings and prove that our method can minimize the number of selected substrings. We develop novel pruning techniques to efficiently verify the candidate pairs. Experimental results show that our algorithms are efficient for both short strings and long strings, and outperform state-of-the-art methods on real datasets.

研究の動機と目的

• 短い文字列および長い文字列の両方において、統一的かつ効率的な文字列類似度ジョイン手法の欠如に対処すること。
• 有効なペアが見逃されないことを保証しつつ、類似度ジョインで生成される候補ペアの数を削減すること。
• 短い文字列（例：名前）および長い文字列（例：タイトル、要約）の両方で効率的に動作する適応的技術を開発すること。
• 長さに応じた最適化および共通接頭辞共有技術を用いて、検証の効率を向上させること。

提案手法

• 類似する文字列が少なくとも1つのセグメントを共有するように、文字列をセグメントに分割するパーティションスキームを提案する。
• セグメントに基づく inverted indices を用いて、候補となる一致文字列を効率的に特定する。
• 位置に配慮した多重一致対応の部分文字列選択戦略を採用し、選択される部分文字列の数を最小化する。
• 共通接頭辞計算を再利用する拡張ベースの検証手法を適用し、編集距離の検査を高速化する。
• 検証段階で pruning および早期終了技術を適用し、余分な計算を削減する。
• 文字列をソート順に処理し、インデックスを段階的に構築することで、効率的な候補照合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1つの手法が、短い文字列および長い文字列の両方における類似度ジョインを効率的に処理できるか。
• RQ2 編集距離制約下で、すべての有効ペアを保証して検出するのに必要な最小の部分文字列数は何か。
• RQ3 再計算を最小限に抑えて、候補ペアを効率的に検証する方法は何か。
• RQ4 pruning および早期終了は、類似度ジョインにおける検証コストを顕著に削減できるか。

主な発見

• PASS-JOIN はデータセットサイズに対してほぼ線形のスケーラビリティを達成し、Author データセット（τ=4）では 400K、500K、600K 文字列に対してそれぞれ 360s、530s、700s の経過時間を記録した。
• Author データセットにおいて PASS-JOIN はインデックス領域をたったの 1.92MB に抑え、ED-Join（25.34MB）および Trie-Join（16.32MB）よりも顕著に少ない。
• 実データセット上でも PASS-JOIN は ED-Join や Trie-Join を上回り、短い文字列および長い文字列の両方のワークロードにおいて優れた性能を示した。
• 多重一致対応の部分文字列選択法により、必要な部分文字列数が最小化され、候補生成において理論的に最適であることが証明された。
• 共通接頭辞計算を共有する拡張ベースの検証により、特に長い文字列において検証時間が短縮された。
• 実験結果から PASS-JOIN の適応性と効率性が確認され、多様な文字列長をカバーする必要があるシステムに適していることが示された。