[논문 리뷰] Efficient and Effective Table-Centric Table Union Search in Data Lakes

Yongkang Sun, Zhihao Ding외 3명|arXiv (Cornell University)|2026. 03. 18.

Data Quality and Management인용 수 0

한 줄 요약

TACTUS는 먼저 테이블 임베딩을 학습하여 테이블 수준의 holistic 합집성(합집합 가능성)을 포착한 다음 최종 랭킹을 위한 열 수준 신호로 다듬어 표 중심의 상위-k 테이블 합집합 검색 방법을 도입하고, 컬럼 중심 방법보다 더 높은 정확도와 속도를 달성합니다.

ABSTRACT

In data lakes, information on the same subject is often fragmented across multiple tables. Table union search aims to find the top-k tables that can be unioned with a query table to extend it with more rows, without relying on metadata or ground-truth labels. Existing methods are mainly column-centric: they focus on modeling column unionability scores using column embeddings, which are then used throughout the search process for column matching, filtering, and aggregation. However, this overlooks holistic table-level semantics, which may result in suboptimal rankings and inefficiencies. We introduce TACTUS, a novel table-centric method for table union search. Unlike prior work that searches from columns to tables, we search in a table-first way and examine columns only in the final step. During offline processing, we directly generate table embeddings for holistic, table-level unionability scoring by designing table-level representation techniques, including positive table pair construction to simulate unionable tables, two-pronged negative table sampling to avoid latent positives and mine hard negatives to enhance representation quality, and attentive table encoding for effective embeddings. During online search, we first develop a table-centric adaptive candidate retrieval method that efficiently selects a compact, high-quality candidate pool by leveraging the distribution of table-level unionability scores induced by table embeddings. We then inspect columns only within this compact candidate set and design a dual-evidence reranking technique that integrates table-level and column-level scores to refine the final top-k results. Extensive experiments on real-world datasets show that TACTUS significantly improves result quality while being much faster than existing methods in both offline and online processing, often by an order of magnitude.

연구 동기 및 목표

• 데이터 레이크에서 메타데이터에 의존하지 않고 합집합 가능한 테이블을 탐색해야 할 필요성을 제시한다.
• 합집합 가능성을 포착하기 위한 전반적 테이블 수준 시맨틱스를 포획하는 표 중심 프레임워크를 제안한다.
• 합집합 가능한 테이블과 그렇지 않은 테이블을 구분하기 위한 자가 감독 신호를 활용한 오프라인 테이블 임베딩 학습을 개발한다.
• 상위-k 결과를 위해 테이블 수준 및 열 수준 증거를 결합하는 온라인 검색 및 재랭킹 파이프라인을 설계한다.

제안 방법

• 데이터 레이크의 각 테이블 Ti에 대해 테이블 수준 합집합 가능성 시맨틱스를 인코딩하기 위한 테이블 임베딩 Ti를 생성한다.
• 오프라인: 양의 테이블 쌍을 구성하고 두 갈래의 부정 샘플링을 통해 테이블 수준 대조 손실로 주의력 있는 테이블 인코더를 학습한다.
• 온라인: 테이블 임베딩을 사용하여 표 중심의 적응 후보 검색으로 컴팩트한 후보 집합 S를 구성한 다음 mu_T와 mu_A를 결합한 이중 증거 점수로 재랭킹한다.
• Mu_T는 임베딩에서 나온 테이블 수준 합집합 가능성 점수이고; mu_A는 FastText 기반 특징으로 오프라인에서 얻은 열 정합 점수이며, 최종 랭킹을 위한 mu로 결합된다.

실험 결과

연구 질문

• RQ1 메타데이터에 의존하지 않고 합집합 가능성 있는 테이블을 포착하기 위해 표 중심 표현이 어떻게 전체 테이블 수준 합집합 가능성을 포착할 수 있는가?
• RQ2 두 단계 프로세스(테이블 수준 검색에 이어 열 수준 정제가) 가 컬럼 중심 접근법보다 정확도와 효율성 면에서 더 뛰어난가?
• RQ3 테이블 임베딩을 교육하기 위해 어떤 자가 감독 전략이 합집합 가능한 테이블 쌍을 가장 잘 근사하는가?
• RQ4 적응형 후보 검색이 상위-k 품질을 해치지 않으면서 온라인 검색 속도를 높이는 컴팩트하고 높은 커버리지의 집합을 만들어내는가?

주요 결과

• TACTUS는 보고된 실험에서 기존 방법에 비해 일관되게 우수한 효과를 달성한다.
• 표 중심 파이프라인은 오프라인 및 온라인 처리에서 이전 접근법에 비해 상당한 속도 향상을 제공하며 종종 한 차례의 차이 정도의 차이를 보인다.
• 단일 테이블 임베딩으로 각 테이블에 대해 후보 검색을 효율적으로 수행하고 비관련 테이블의 조기 가지치기를 가능하게 한다.
• 이중 증거 재랭킹은 테이블 수준 임베딩과 열 수준 정합을 효과적으로 결합하여 상위-k 결과를 정제한다.
• 오프라인에서의 자가 감독형 테이블 임베딩은 양의 테이블 쌍 구성과 어려운 부정 샘플링으로 합집합 가능성 추정의 품질을 향상시킨다.