[論文レビュー] Efficient Joinable Table Discovery in Data Lakes: A High-Dimensional Similarity-Based Approach

Yuyang Dong, Kunihiro Takeoka+2 more|arXiv (Cornell University)|Oct 26, 2020

Data Quality and Management参考文献 30被引用数 10

ひとこと要約

この論文では、高次元ベクトル埋め込みと類似度ベースのジョインを用いて、データレイクにおける効率的な結合可能なテーブル発見のためのフレームワークであるPEXESOを提案する。ピボットベースのフィルタリングとブロック＆バリデーション戦略を活用することで、等価ジョインおよび既存の類似度ベースの手法に比べて、意味的に類似したテーブルを顕著に効率よく特定でき、機械学習のデータ拡張において高い再現率と線形スケーラビリティを実現する。

ABSTRACT

Finding joinable tables in data lakes is key procedure in many applications such as data integration, data augmentation, data analysis, and data market. Traditional approaches that find equi-joinable tables are unable to deal with misspellings and different formats, nor do they capture any semantic joins. In this paper, we propose PEXESO, a framework for joinable table discovery in data lakes. We embed textual values as high-dimensional vectors and join columns under similarity predicates on high-dimensional vectors, hence to address the limitations of equi-join approaches and identify more meaningful results. To efficiently find joinable tables with similarity, we propose a block-and-verify method that utilizes pivot-based filtering. A partitioning technique is developed to cope with the case when the data lake is large and the index cannot fit in main memory. An experimental evaluation on real datasets shows that our solution identifies substantially more tables than equi-joins and outperforms other similarity-based options, and the join results are useful in data enrichment for machine learning tasks. The experiments also demonstrate the efficiency of the proposed method.

研究の動機と目的

• 表記のばらつきや用語の多様性のため、等価ジョインに基づくテーブル発見手法が意味的類似性を捉えられないという限界を是正すること。
• 正確な文字列一致ではなく、テキストカラム値間の意味的類似度に基づいて結合可能なテーブルを発見すること。
• 大規模データレイクにおける高次元埋め込みの類似度ジョインを効率的かつスケーラブルに実行できるフレームワークを設計すること。
• ピボットベースのフィルタリングとインverted indexベースのバリデーションにより、高コストな類似度計算を削減すること。
• 主記憶領域を超える大規模データレイクに対応するため、階層的パーティショニング戦略を導入してアウト・オブ・コア処理を可能にすること。

提案手法

• 事前学習済み埋め込み（例：GloVe）を用いて、テキストカラム内の各レコードを高次元ベクトルに変換し、カラムを複数のベクトルの多重集合に変換する。
• 距離関数としきい値に基づく類似度述語を定義することで、カラム間の結合可能性を定義し、意味的に類似した値の曖昧な一致を可能にする。
• ブロック＆バリデーション戦略を採用：まずピボットベースのフィルタリングで候補となるベクトルペアを絞り込み、その後有望なペアのみを検証する。
• ピボット空間を階層的グリッドでパーティショニングし、主記憶領域を超える大規模データレイクに対しても効率的なアウト・オブ・コア処理を可能にする。
• ピボット空間にインverted indexを構築することで、距離計算の回数をほぼ線形スケールに削減し、バリデーションを高速化する。
• 動的ピボット選択メカニズムとデータパーティショニング技術を統合し、データサイズや次元数の変動に対しても性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 従来の等価ジョイン手法に比べ、高次元ベクトル埋め込みは、データレイクにおける意味的結合可能なテーブルの発見をどのように改善するか？
• RQ2 主記憶領域が限られる大規模データレイクにおいて、類似度ベースのジョインをどのようにスケーラブルに効率的に計算できるか？
• RQ3 高コストな距離計算を最小限に抑えるとともに、テーブル発見における高い再現率を維持するためのインデックス化とフィルタリング戦略は何か？
• RQ4 本手法のフレームワークは、データサイズ、カラム数、ベクトル次元数の増加に伴い、どのようにスケーリングするか？
• RQ5 本手法は、データ拡張による向上を通じて、下流の機械学習タスクにどの程度寄与するか？

主な発見

• PEXESOは、等価ジョイン手法に比べて、『American Indian/Alaska Native』と『Mainland Indigenous』のような意味的ばらつきを含むケースで、はるかに多くの結合可能なテーブルを特定する。
• 実世界のデータセット（OPEN, SWDC, LWDCなど）においても、他の類似度ベースのアプローチに比べて再現率と効率性の両面で優れている。
• 検索時間とインデックスサイズは、データサイズおよび次元数に対してほぼ線形に増加し、特にインverted indexベースのバリデーション技術のおかげで強力なスケーラビリティを示している。
• アウト・オブ・コア版であるPEXESO-Hは、大規模データセットに対しても検索時間とインデックスサイズが線形に増加し続ける一方、他の手法は超線形増加を示すのと対照的である。
• アブレーションスタディの結果、ピボット選択とデータパーティショニングが性能向上に顕著に寄与しており、ブロック＆バリデーション戦略により不要な距離計算が著しく削減されている。
• 実験の結果、PEXESOのジョイン結果は機械学習モデルの性能向上に寄与しており、データ拡張および特徴量拡張タスクにおける実用性を裏付けている。