[論文レビュー] SANTOS: Relationship-based Semantic Table Union Search

Aamod Khatiwada, Grace Fan+5 more|arXiv (Cornell University)|Sep 27, 2022

Data Quality and Management被引用数 5

ひとこと要約

SANTOSは、データレイクのコンテンツから合成された知識ベース（KB）と既存の知識ベース（KB）の両方を活用することで、結合可能性の検出を向上させる、新しい関係ベースの意味的テーブル結合検索手法を提案する。カラムペア間の意味的関係をグラフベースの表現でモデル化することで、最先端の手法を上回り、最大6倍の高速化と高い正確性を達成する。特に、既存のKBのカバレッジが限られる状況でも優れた性能を発揮する。

ABSTRACT

Existing techniques for unionable table search define unionability using metadata (tables must have the same or similar schemas) or column-based metrics (for example, the values in a table should be drawn from the same domain). In this work, we introduce the use of semantic relationships between pairs of columns in a table to improve the accuracy of union search. Consequently, we introduce a new notion of unionability that considers relationships between columns, together with the semantics of columns, in a principled way. To do so, we present two new methods to discover semantic relationship between pairs of columns. The first uses an existing knowledge base (KB), the second (which we call a "synthesized KB") uses knowledge from the data lake itself. We adopt an existing Table Union Search benchmark and present new (open) benchmarks that represent small and large real data lakes. We show that our new unionability search algorithm, called SANTOS, outperforms a state-of-the-art union search that uses a wide variety of column-based semantics, including word embeddings and regular expressions. We show empirically that our synthesized KB improves the accuracy of union search by representing relationship semantics that may not be contained in an available KB. This result hints at a promising future of creating a synthesized KBs from data lakes with limited KB coverage and using them for union search.

研究の動機と目的

• 既存のテーブル結合検索手法がカラムレベルの意味的特徴やメタデータに依存するという限界に対処すること。これにより、誤検出や見逃しの原因となることがある。
• 属性レベルの類似度に依存するのではなく、カラムペア間の意味的関係を組み込むことで、結合可能性の検出を向上させること。
• 既存のキュレート済みKBのカバレッジが限られる問題を克服するため、データレイクのコンテンツから合成されたKBを構築すること。
• 小規模および大規模な企業・オープンデータレイクを含む実世界のベンチマークを用いて、スケーラビリティと頑健性を実証すること。
• 関係ベースの意味的特徴が、カラムのみに依存するアプローチと比較して、テーブル結合検索の正確性と効率性を顕著に向上させることを示すこと。

提案手法

• SANTOSは、外部の知識ベース（例：YAGO）と、データレイクの統計から導出された合成KBの両方を用いて、テーブルからカラムペア間の関係を特定・モデル化することで意味的グラフを構築する。
• 合成KBは、関数的依存（FD）の検出とセル値を用いた意味的関係の推論により構築され、外部KBが不完全であってもカバレッジを確保できる。
• テーブル間の意味的類似度は、カラムの意味とカラム間の関係を両方考慮したグラフベースのマッチング技術を用いて、構築された意味的グラフ同士を比較することで算出される。
• 事前に意味的グラフ表現を計算・保存することで、クエリ時の高速類似度検索を実現するための効率的なインデックス化とクエリ処理をサポートする。
• 外部KBと合成KBの両方を統合して結合可能性スコアリングを向上させ、KBカバレッジが向上するに従い、ほぼ線形に性能向上が見られる。
• 大規模なデータレイクにスケーラブルに対応するよう設計されており、インデックス作成が並列化可能で、意味的グラフのメモリ効率の良い保存が可能である。

実験結果

リサーチクエスチョン

• RQ1 カラムペア間の意味的関係をモデル化することで、カラムレベルの意味的特徴にとどまらない、テーブル結合検索の正確性が向上するか？
• RQ2 データレイクのコンテンツから構築された合成KBは、既存のキュレート済みKBに比べて、結合検索の正確性向上にどの程度効果的か？
• RQ3 外部KBと合成KBの両方を統合することで、多様なサイズと構造を持つデータレイクにおいて、結合検索のパフォーマンスがどの程度向上するか？
• RQ4 大規模で実際のデータレイク（数千のテーブルを含む）において、SANTOSのインデックス作成およびクエリパフォーランスはどの程度スケーリングするか？
• RQ5 SANTOSの関係ベースのアプローチは、D³Lのようなカラムベースの最先端手法と比較して、正確性と効率性の両面で優れているか？

主な発見

• LARGEベンチマークにおいて、SANTOSはD³Lの最先端手法を上回り、最大6倍の高速なクエリ時間を達成している。ただし、インデックス作成フェーズは3倍遅い。
• 合成KBの活用により、既存のKBに存在しない意味的関係を捉えることができ、特に外部KBのカバレッジが限られるデータレイクにおいて、結合検索の正確性が向上する。
• TUSベンチマークでは、SANTOSはD³Lよりも高い正確度（precision）と再現率（recall）を達成しており、多様なテーブル構造とデータ型にわたる頑健性を示している。
• 大規模なデータレイクでは、効率的なグラフベースのインデックス化と検索空間の削減により、SANTOSの平均クエリ時間がD³Lよりも顕著に短い。
• LARGEベンチマークにおいて、FD検出を含む合成KB作成プロセスは約17時間19分かかるが、並列化により合計所要時間を短縮可能である。
• 十分なデータが存在して意味的関係を推論できる限り、SANTOSはクエリテーブルの行数が少ない場合でも高いパフォーマンスを維持する。これは人間の解釈可能基準とも整合する。