[논문 리뷰] HyperJoin: LLM-augmented Hypergraph Link Prediction for Joinable Table Discovery

Shiyuan Liu, Jianwei Wang외 4명|arXiv (Cornell University)|2026. 01. 03.

Data Quality and Management인용 수 0

한 줄 요약

HyperJoin은 결합 가능한 테이블 발견을 하이퍼그래프에서의 링크 예측으로 재구성하며, 인터-테이블 엣지와 인트라-테이블 엣지를 LLM 보강으로 사용하고, 계층적 상호 작용 네트워크와 MST 기반 재랭킹으로 일관성과 정확성을 향상시킵니다.

ABSTRACT

As a pivotal task in data lake management, joinable table discovery has attracted widespread interest. While existing language model-based methods achieve remarkable performance by combining offline column representation learning with online ranking, their design insufficiently accounts for the underlying structural interactions: (1) offline, they directly model tables into isolated or pairwise columns, thereby struggling to capture the rich inter-table and intra-table structural information; and (2) online, they rank candidate columns based solely on query-candidate similarity, ignoring the mutual interactions among the candidates, leading to incoherent result sets. To address these limitations, we propose HyperJoin, a large language model (LLM)-augmented Hypergraph framework for Joinable table discovery. Specifically, we first construct a hypergraph to model tables using both the intra-table hyperedges and the LLM-augmented inter-table hyperedges. Consequently, the task of joinable table discovery is formulated as link prediction on this constructed hypergraph. We then design HIN, a Hierarchical Interaction Network that learns expressive column representations through bidirectional message passing over columns and hyperedges. To strengthen coherence and internal consistency in the result columns, we cast online ranking as a coherence-aware top-k column selection problem. We then introduce a reranking module that leverages a maximum spanning tree algorithm to prune noisy connections and maximize coherence. Experiments demonstrate the superiority of HyperJoin, achieving average improvements of 21.4% (Precision@15) and 17.2% (Recall@15) over the best baseline.

연구 동기 및 목표

• 데이터 레이크에서 구조 인식 문제로서 결합 가능한 테이블 발견의 동기를 부여한다.
• 인트라-테이블 및 인터-테이블 관계를 포착하는 하이퍼그래프 기반 프레임워크를 제안한다.
• 계층적 상호 작용 네트워크를 통해 표현력이 풍부한 열 표현을 학습한다.
• 일관성 인식 상위-K 선택과 MST 기반 재랭킹으로 온라인 랭킹을 향상시킨다.
• 여러 벤치마크에서 기본 baselines 대비 실증적 이점을 입증한다.

제안 방법

• 열이 노드가 되고 인트라-테이블 하이퍼엣지와 LLM 보강 인터-테이블 하이퍼엣지가 있는 하이퍼그래프를 구성한다.
• 테이블 이름, 열 이름, 셀 값으로부터 초기 열 특징을 인코딩하고 이를 노드 임베딩으로 융합한다.
• 표현력이 풍부한 표현을 위해 Local Hyperedge Aggregation과 Global Hyperedge Mixing을 갖춘 계층적 상호 작용 네트워크를 적용한다.
• 위치 비가시성 및 글로벌 구조적 역할을 다루기 위해 테이블 수준 및 열 수준의 위치 인코딩을 사용한다.
• 온라인 랭킹을 일관성 인식 상위-K 문제로 형식화하고, 잡음이 많은 연결을 제거하기 위해 탐욕적 MST 기반 재랭킹으로 해결한다.
• 최첨단 성능 대비 Precision@15에서 평균 21.4%, Recall@15에서 평균 17.2%의 개선으로 우수성을 입증한다.

실험 결과

연구 질문

• RQ1 인트라-테이블 및 인터-테이블 구조를 명시적으로 모델링함으로써 결합 가능한 테이블 발견을 어떻게 개선할 수 있는가?
• RQ2 하이퍼그래프 기반 표현과 LLM 보강을 함께 사용하면 테이블 간 결합 가능성 신호를 더 잘 전달할 수 있는가?
• RQ3 일관성 인식 상위-K 선택과 MST 재랭킹이 기존 온라인 랭킹 방법보다 더 일관되고 정확한 결과 집합을 제공하는가?

주요 결과

• HyperJoin은 최상위 기본값 대비 Precision@15에서 평균 21.4%의 향상을 달성한다.
• HyperJoin은 최상위 기본값 대비 Recall@15에서 평균 17.2%의 향상을 달성한다.
• 인트라-테이블 하이퍼그래프와 LLM-augmented 인터-테이블 하이퍼엣지가 고립된 표현이나 쌍별 표현보다 구조적 맥락을 더 잘 포착한다.
• 계층적 상호 작용 네트워크는 하이퍼그래프에서 효과적인 전역 및 로컬 메시지 전달을 가능하게 한다.
• 일관성 인식 상위-K 랭킹과 MST 기반 재랭킹 모듈은 결과의 일관성을 높이고 노이즈 연결을 줄인다.