[論文レビュー] Auto-FuzzyJoin: Auto-Program Fuzzy Similarity Joins Without Labeled Examples

Peng Li, Xiang Cheng+3 more|arXiv (Cornell University)|Mar 7, 2021

Data Quality and Management参考文献 41被引用数 7

ひとこと要約

Auto-FuzzyJoin は、ラベルなしデータを用いて、エンティティ解決のための高品質なファジィジョインプログラムを自動的に生成する非教師ありフレームワークである。距離関数の幾何的解釈を用い、1つの入力テーブルをリファレンスとして用いてパラメータを最適化することで、精度の目標を達成しながら再現率を最大化する。これは、教師あり・非教師ありの両方のベースライン、50%のラベルデータを用いる手法を含め、すべてを上回る性能を発揮する。

ABSTRACT

Fuzzy similarity join is an important database operator widely used in practice. So far the research community has focused exclusively on optimizing fuzzy join extit{scalability}. However, practitioners today also struggle to optimize fuzzy-join extit{quality}, because they face a daunting space of parameters (e.g., distance-functions, distance-thresholds, tokenization-options, etc.), and often have to resort to a manual trial-and-error approach to program these parameters in order to optimize fuzzy-join quality. This key challenge of automatically generating high-quality fuzzy-join programs has received surprisingly little attention thus far. In this work, we study the problem of "auto-program" fuzzy-joins. Leveraging a geometric interpretation of distance-functions, we develop an unsupervised extsc{Auto-FuzzyJoin} framework that can infer suitable fuzzy-join programs on given input tables, without requiring explicit human input such as labeled training data. Using extsc{Auto-FuzzyJoin}, users only need to provide two input tables $L$ and $R$, and a desired precision target $τ$ (say 0.9). extsc{Auto-FuzzyJoin} leverages the fact that one of the input is a reference table to automatically program fuzzy-joins that meet the precision target $τ$ in expectation, while maximizing fuzzy-join recall (defined as the number of correctly joined records). Experiments on both existing benchmarks and a new benchmark with 50 fuzzy-join tasks created from Wikipedia data suggest that the proposed extsc{Auto-FuzzyJoin} significantly outperforms existing unsupervised approaches, and is surprisingly competitive even against supervised approaches (e.g., Magellan and DeepMatcher) when 50\% of ground-truth labels are used as training data.

研究の動機と目的

• ファジィジョインの設定における増大する使いやすさの課題に対処する。これは、ガイドなしで膨大な手動パラメータ空間に直面する実務家たちの課題である。
• ラベル付きトレーニングデータを一切必要としない非教師あり手法を開発し、入力テーブルに適合したファジィジョインプログラムを自動的に生成すること。
• 人為的ラベル例に依存せずに、ユーザーが定義した精度制約のもとで再現率を最大化することで、ファジィジョインの品質を最適化すること。
• 多様なデータ型や構造、特に多カラムおよびノイズを含む入力に対応できるスケーラブルで一般化可能なソリューションを構築すること。

提案手法

• フレームワークは距離関数を幾何学的に扱い、ベクトル空間としてモデル化することで、最適なパラメータの組み合わせを推定する。
• 真の一致の分布を推定し、パラメータ探索をガイドするために、1つの入力テーブルをリファレンスとして用いる。
• 期待される精度が目標 τ を満たすことを保証しながら再現率を最大化する制約付き最適化問題を定式化する。
• 特徴の情報量を幾何的クラスタリングと距離感度分析を通じて評価することで、カラム選択と重み付けを自動化する。
• 一致と非一致を区別する寄与度に基づいて、関連するカラムを動的に選択し、重みを割り当てる。
• トークン化、距離関数、しきい値などのパラメータ空間における探索戦略を、幾何的性質とリファレンステーブルの構造に従ってガイドする。

実験結果

リサーチクエスチョン

• RQ1 ラベル例なしで、高品質なファジィジョインプログラムを自動的に生成できる非教師あり手法は存在するか？
• RQ2 50%のラベルデータを用いる教師あり手法と比較して、非教師ありアプローチはどの程度の性能を発揮するか？
• RQ3 人為的入力なしで、情報量の多いカラムを効果的に選択し、最適な重みを割り当てることができるか？
• RQ4 入力テーブルに不要なまたはランダムなカラムが含まれた場合、この手法はどの程度の耐性を示すか？
• RQ5 リファレンステーブルを活用することで、パラメータ設定とジョイン品質はどの程度向上するか？

主な発見

• Auto-FuzzyJoin は、多カラムデータセットにおいて平均 PR-AUC 0.89 を達成し、すべての非教師ありベースラインを大きく上回り、最良の教師あり手法と同等の性能を発揮した。
• Excel（最も強力な非教師ありベースライン）に対して再現率が 0.13 向上し、AL（50%ラベルデータを用いる教師あり手法）に対しては 0.014 向上した。
• ランダムカラムが追加されても高い性能を維持したが、Excel や AL は性能が低下した。これは、本手法の高い耐性を示している。
• ほとんどの場合、Auto-FuzzyJoin は情報量の多い1〜2つのカラム（例：Name, Director）のみを選択した。これは、効果的なカラム選択を示している。
• 統計的検定により、すべての非教師ありベースラインとの比較で p 値が 0.034 未満であった。これは、結果の有意性に高い信頼性があることを示している。
• 8つのデータセットのうち2つにおいて、Auto-FuzzyJoin は最高の PR-AUC を達成した。残りのデータセットでは、最良の手法とわずかに差をあけるにとどまった。