[論文レビュー] Efficient and Effective Table-Centric Table Union Search in Data Lakes

Yongkang Sun, Zhihao Ding+3 more|arXiv (Cornell University)|Mar 18, 2026

Data Quality and Management被引用数 0

ひとこと要約

TACTUS は、最初にテーブル全体の結合性を捉えるテーブル埋め込みを学習し、最終的なランキングのために列レベルの手掛かりで精緻化する、テーブル中心の top-k テーブル結合検索手法を導入します。これにより、列中心の手法よりも精度と速度の両方が改善されます。

ABSTRACT

In data lakes, information on the same subject is often fragmented across multiple tables. Table union search aims to find the top-k tables that can be unioned with a query table to extend it with more rows, without relying on metadata or ground-truth labels. Existing methods are mainly column-centric: they focus on modeling column unionability scores using column embeddings, which are then used throughout the search process for column matching, filtering, and aggregation. However, this overlooks holistic table-level semantics, which may result in suboptimal rankings and inefficiencies. We introduce TACTUS, a novel table-centric method for table union search. Unlike prior work that searches from columns to tables, we search in a table-first way and examine columns only in the final step. During offline processing, we directly generate table embeddings for holistic, table-level unionability scoring by designing table-level representation techniques, including positive table pair construction to simulate unionable tables, two-pronged negative table sampling to avoid latent positives and mine hard negatives to enhance representation quality, and attentive table encoding for effective embeddings. During online search, we first develop a table-centric adaptive candidate retrieval method that efficiently selects a compact, high-quality candidate pool by leveraging the distribution of table-level unionability scores induced by table embeddings. We then inspect columns only within this compact candidate set and design a dual-evidence reranking technique that integrates table-level and column-level scores to refine the final top-k results. Extensive experiments on real-world datasets show that TACTUS significantly improves result quality while being much faster than existing methods in both offline and online processing, often by an order of magnitude.

研究の動機と目的

• データレイクにおいてメタデータに依存せず、結合可能なテーブルを検索する必要性を動機づける。
• 結合性の全体的なテーブルレベルの意味を捉えるテーブル中心のフレームワークを提案する。
• 結合可能性と非結合可能性を区別する自己教師付き信号を用いたオフラインのテーブル埋め込み学習を開発する。
• トップ-k 結果のオンライン検索とリランキングのパイプラインを設計し、テーブルレベルと列レベルの証拠を組み合わせて最適化する。

提案手法

• データレイク内の各テーブル Ti に対してテーブル全体の結合性意味を符号化するテーブル埋め込み Ti を作成する。
• オフライン: ポジティブなテーブルペアを構築し、テーブルレベルのコントラスト損失を用いて注意的なテーブルエンコーダを訓練するための二段階のネガティブサンプリング。
• オンライン: テーブル埋め込みを用いたテーブル中心の適応候補取得でコンパクトな候補集合 S を形成し、mu_T と mu_A を組み合わせた二重証拠スコアでリランキングする。
• Mu_T は埋め込みから得られるテーブルレベルの結合性スコアで、mu_A はオフラインで FastText ベースの特徴から得られる列整列スコア。最終ランキングには mu を用いる。

実験結果

リサーチクエスチョン

• RQ1 テーブルメタデータに依存せず、テーブルレベルの全体的な結合性をキャプチャするテーブル中心の表現はどう機能するか？
• RQ2 テーブルレベルの検索と列レベルの refine の二段階プロセスは、精度と効率の点で列中心アプローチを上回るか？
• RQ3 テーブル埋め込みを訓練するために、自己教師付き戦略はどの程度結合可能なテーブルペアを近似できるか？
• RQ4 適応的候補取得は高いカバレッジを持つコンパクトなセットを生成し、オンライン検索を高速化しつつトップ-k の品質を損なわないか？

主な発見

• TACTUS は報告された実験で既存手法と比較して一貫して優れた効果を達成する。
• テーブル中心のパイプラインはオフライン・オンラインの両方の処理で従来手法より大幅な高速化をもたらすことが多く、しばしば1桁のオーダーの改善を実現する。
• テーブルごとに1つの埋め込みを用いることで、候補の取得を効率化し、関連性のないテーブルの早期除外が可能になる。
• 二重証拠リランキングはテーブルレベルの埋め込みと列レベルの整列を効果的に組み合わせ、トップ-k の結果を洗練させる。
• オフラインの自己教師付きテーブル埋め込みは、ポジティブテーブルペアの構築と難例ネガティブサンプリングを通じて結合性推定の質を向上させる。