[論文レビュー] Semantics-aware Dataset Discovery from Data Lakes with Contextualized Column-based Representation Learning

Grace Fan, Jin Wang+3 more|arXiv (Cornell University)|Oct 4, 2022

Data Quality and Management被引用数 5

ひとこと要約

本稿では、対照的で文脈に依存するカラム表現学習を用いて、データレイクにおける意味的認識型データセット発見のエンドツーエンドフレームワークStarmieを提案する。事前学習言語モデル上で完全に自己教師ありの方法で訓練されたマルチカラムTransformerエンコーダーを用い、カラム埋め込み間のコサイン類似度によりユニオン可能スコアを計算することで、最先端の手法よりもMAPとリCALLが6.8ポイント高く、HNSWインデックスを用いることで線形スキャン比3,000倍の高速化を達成した。

ABSTRACT

Dataset discovery from data lakes is essential in many real application scenarios. In this paper, we propose Starmie, an end-to-end framework for dataset discovery from data lakes (with table union search as the main use case). Our proposed framework features a contrastive learning method to train column encoders from pre-trained language models in a fully unsupervised manner. The column encoder of Starmie captures the rich contextual semantic information within tables by leveraging a contrastive multi-column pre-training strategy. We utilize the cosine similarity between column embedding vectors as the column unionability score and propose a filter-and-verification framework that allows exploring a variety of design choices to compute the unionability score between two tables accordingly. Empirical evaluation results on real table benchmark datasets show that Starmie outperforms the best-known solutions in the effectiveness of table union search by 6.8 in MAP and recall. Moreover, Starmie is the first to employ the HNSW (Hierarchical Navigable Small World) index for accelerate query processing of table union search which provides a 3,000X performance gain over the linear scan baseline and a 400X performance gain over an LSH index (the state-of-the-art solution for data lake indexing).

研究の動機と目的

• 不一致で不完全なメタデータによるデータレイク発見におけるキーワード検索や構文的検索の限界を解消すること。
• テーブル内のカラム間の豊かな文脈的意味的情報を捉えることで、テーブルユニオン検索の正確性を向上させること。
• 多様なデータレイク環境に一般化可能な、完全に自己教師ありでスケーラブルなフレームワークを構築すること。
• HNSWのような効率的なインデキシング構造を用いて、大規模なテーブルユニオン検索を高速化すること。

提案手法

• ラベルなしデータを用いて、事前学習言語モデル上で対照的マルチカラム事前学習戦略を用いてカラムエンコーダーを訓練する。
• テーブル内のカラム間の文脈的関係をモデル化するためのマルチカラムテーブルTransformerエンコーダーを採用する。
• 学習済みカラム埋め込みベクトル間のコサイン類似度を用いてユニオン可能スコアを計算する。
• ユニオン可能スコアを計算するための多様な設計選択肢を検討するためのフィルタ・バリデーションフレームワークを導入する。
• 大規模なデータレイクにおけるクエリ処理を高速化するために、HNSW（階層的ナビゲーション可能スモールワールド）インデックスを活用する。
• 正例ペア間の一致を最大化し、負例ペア間の一致を最小化するように、自己教師ありの方法でカラムエンコーダーを対照的学習を用いて訓練する。

Figure 1 . An example of table union search on Open Data.

実験結果

リサーチクエスチョン

• RQ1 自己教師ありで文脈に依存するカラム表現学習は、データレイクにおけるテーブルユニオン検索の正確性を向上させることができるか？
• RQ2 ラベルなしデータを用いても、対照的学習はカラム間の意味的および文脈的関係を効果的に捉えることができるか？
• RQ3 HNSWのような効率的なインデキシング構造は、大規模なテーブルユニオン検索を顕著に高速化できるか？
• RQ4 実世界のベンチマークにおいて、提案フレームワークは、精度、リCALL、MAPの観点で既存のソリューションと比較してどのように差をつけるか？

主な発見

• Starmieは、実際のテーブルベンチマークにおいて、最高の既存手法よりもMean Average Precision (MAP) とリCALLで6.8ポイント高い結果を達成した。
• HNSWインデックスを用いることで、線形スキャン比3,000倍、LSHインデキシング比400倍の性能向上を達成した。
• Starmieは、テーブルユニオン検索に対照的学習を適用した初のフレームワークであり、完全に自己教師ありで文脈に依存するカラム表現学習を可能にした。
• マルチカラムTransformerエンコーダーの使用により、カラム間の文脈を効果的に捉え、ユニオン可能スコアの予測精度が向上した。
• フィルタ・バリデーションフレームワークにより、学習済み埋め込みに基づいて柔軟かつ効果的なテーブルユニオン可能スコアの計算が可能になった。
• ソースコード、データ、アーティファクトはすべて https://github.com/megagonlabs/starmie で公開されている。

Figure 2 . During the offline phase, $\mathsf{Starmie}$ pre-trains a multi-column table encoder using contrastive learning and stores the embeddings of data lake columns in vector indices like HNSW. During online processing, $\mathsf{Starmie}$ retrieves candidate tables with similar contextualized c