[論文レビュー] GB-KMV: An Augmented KMV Sketch for Approximate Containment Similarity Search

Yang Yang, Ying Zhang+2 more|arXiv (Cornell University)|Sep 3, 2018

Data Quality and Management参考文献 33被引用数 3

ひとこと要約

本稿では、包含類似度検索のための近似手法として、データに依存する拡張KMVスケッチGB-KMVを提案する。新しいスケッチ技法を用いて、包含類似度を集合の共通要素数推定に変換する。GB-KMVは、最先端のLSHベース手法と比較して、空間-精度および時間-精度のトレードオフが優れている。実データセット上での実験では、F-1スコアの精度が同等の条件下で100倍以上の高速化を達成した。

ABSTRACT

In this paper, we study the problem of approximate containment similarity search. Given two records Q and X, the containment similarity between Q and X with respect to Q is |Q intersect X|/ |Q|. Given a query record Q and a set of records S, the containment similarity search finds a set of records from S whose containment similarity regarding Q are not less than the given threshold. This problem has many important applications in commercial and scientific fields such as record matching and domain search. Existing solution relies on the asymmetric LSH method by transforming the containment similarity to well-studied Jaccard similarity. In this paper, we use a different framework by transforming the containment similarity to set intersection. We propose a novel augmented KMV sketch technique, namely GB-KMV, which is data-dependent and can achieve a good trade-off between the sketch size and the accuracy. We provide a set of theoretical analysis to underpin the proposed augmented KMV sketch technique, and show that it outperforms the state-of-the-art technique LSH-E in terms of estimation accuracy under practical assumption. Our comprehensive experiments on real-life datasets verify that GB-KMV is superior to LSH-E in terms of the space-accuracy trade-off, time-accuracy trade-off, and the sketch construction time. For instance, with similar estimation accuracy (F-1 score), GB-KMV is over 100 times faster than LSH-E on some real-life dataset.

研究の動機と目的

• 既存のLSHベース手法における近似包含類似度検索の限界を解決すること。特に、歪んだデータ分布に敏感であり、非対称LSH変換に依存している点に起因する。
• 記録サイズおよび要素頻度分布を活用することで、精度と効率を向上させる、本質的にデータに依存するスケッチ技法の開発。
• Jaccard類似度の近似に依存しない理論的裏付けのある手法を提供し、包含類似度を集合の共通要素数推定に変換すること。
• LSH-Eなどの最先端技術と比較して、スケッチサイズ、推定精度、構築時間のトレードオフをより良くすること。

提案手法

• GB-KMVは、記録サイズと要素頻度に基づくデータに依存するしきい値を組み込んだ拡張KMVスケッチを導入し、基数推定および共通要素数推定を向上させる。
• データセット内の集合サイズおよび要素頻度の分布に適応するグローバルしきい値を用いた、修正されたKMVスケッチを採用する。
• 拡張スケッチの整合性特性を活用して集合の共通要素数を推定し、正確な包含類似度推定を可能にする。
• 特に歪んだデータ分布下でも高い精度を維持しつつ、時間的オーバーヘッドを低減するようにスケッチ構築プロセスを最適化する。
• 濃度バインディングおよび推定誤差の理論的分析を提供し、従来のKMVおよびLSHベース手法と比較して性能が向上することを示す。
• 非対称LSHで用いられるデータパディングや固定サイズ変換の必要性を回避し、より正確で効率的な類似度推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 歪んだデータ分布下でも、データに依存するスケッチ技法がLSHベース手法を上回る可能性があるか？
• RQ2 Jaccard類似度変換に依存せずに、KMVスケッチをどのように拡張すれば、集合の共通要素数および包含類似度をよりよく推定できるか？
• RQ3 提案されたGB-KMVスケッチの推定精度および濃度バインディングに関して、理論的保証はどの程度か？
• RQ4 GB-KMVは、LSH-Eおよび他の最先端手法と比較して、空間-精度および時間-精度のトレードオフをどの程度改善するか？

主な発見

• GB-KMVは、実生活のデータセット上でのF-1スコアの精度が同等の条件下で、LSH-Eと比較してスケッチ構築およびクエリ処理が100倍以上高速である。
• 同じ精度（F-1スコア）の条件下で、GB-KMVは複数の実世界データセットにおいて、時間-精度および空間-精度のトレードオフにおいてLSH-Eを顕著に上回る。
• 理論的分析により、GB-KMVが標準KMVおよびLSHベースのアプローチよりもタイトな濃度バインディングおよびより良い推定誤差を提供することが確認された。
• GB-KMVは、記録サイズや要素頻度が著しく歪んでいるデータセットにおいても、堅牢な性能を示した。一方、LSH-Eは再現率が低下し、誤検出が増加する傾向にあった。
• データに依存する設計により、GB-KMVは変動するデータ分布に適応可能であり、データパディングを伴わず、より正確な包含類似度推定が可能である。