[논문 리뷰] SANTOS: Relationship-based Semantic Table Union Search

Aamod Khatiwada, Grace Fan외 5명|arXiv (Cornell University)|2022. 09. 27.

Data Quality and Management인용 수 5

한 줄 요약

SANTOS는 데이터 레이크의 내용에서 유도된 합성 지식 기반(KB)과 기존 지식 기반(KB)을 모두 활용하여 관계 기반 의미적 테이블 유니언 검색 방법을 도입한다. 그래프 기반 표현을 사용해 컬럼 쌍 간의 의미적 관계를 모델링함으로써, 기존의 최첨단 기법들을 능가하는 성능을 보이며, 특히 제한된 KB 커버리지 문제를 해결함으로써 유니언 가능성 탐지 정확도를 향상시킨다. 이로 인해 최대 6배 빠른 쿼리 시간과 높은 정확도를 달성한다.

ABSTRACT

Existing techniques for unionable table search define unionability using metadata (tables must have the same or similar schemas) or column-based metrics (for example, the values in a table should be drawn from the same domain). In this work, we introduce the use of semantic relationships between pairs of columns in a table to improve the accuracy of union search. Consequently, we introduce a new notion of unionability that considers relationships between columns, together with the semantics of columns, in a principled way. To do so, we present two new methods to discover semantic relationship between pairs of columns. The first uses an existing knowledge base (KB), the second (which we call a "synthesized KB") uses knowledge from the data lake itself. We adopt an existing Table Union Search benchmark and present new (open) benchmarks that represent small and large real data lakes. We show that our new unionability search algorithm, called SANTOS, outperforms a state-of-the-art union search that uses a wide variety of column-based semantics, including word embeddings and regular expressions. We show empirically that our synthesized KB improves the accuracy of union search by representing relationship semantics that may not be contained in an available KB. This result hints at a promising future of creating a synthesized KBs from data lakes with limited KB coverage and using them for union search.

연구 동기 및 목표

• 기존의 테이블 유니언 검색 기법이 컬럼 수준의 의미나 메타데이터에만 의존함으로써 잘못된 양성 결과나 매칭 누락을 유발하는 문제를 해결하기 위해.
• 속성 수준의 유사성에만 의존하지 않고 컬럼 쌍 간의 의미적 관계를 통합함으로써 유니언 가능성 탐지 성능을 향상시키기 위해.
• 기존의 정제된 지식 기반(KB)의 커버리지가 제한되어 있는 문제를 보완하기 위해 데이터 레이크 내용에서 유도된 합성 지식 기반(KB)을 개발하기 위해.
• 소규모 및 대규모 기업/공개 데이터 레이크를 포함한 실제 기준 기준에서 제안된 방법을 평가하여 확장성과 견고성을 입증하기 위해.
• 관계 기반 의미론이 컬럼 중심 접근법에 비해 테이블 유니언 검색의 정확도와 효율성에 크게 기여함을 보여주기 위해.

제안 방법

• SANTOS는 외부 지식 기반(KB)과 데이터 레이크 통계에서 유도된 합성 지식 기반(KB)을 모두 활용하여 컬럼 쌍 간의 관계를 식별하고 모델링함으로써 의미적 그래프를 구성한다.
• 합성 지식 기반(KB)은 기능적 의존성(FDs)을 탐지하고 셀 값에서 의미적 관계를 유추함으로써, 외부 지식 기반(KB)이 불완전할 경우에도 커버리지 가능성을 확보한다.
• 의미적 유사도는 의미적 그래프 간 비교를 통해 계산되며, 컬럼 의미론과 상호 컬럼 관계를 모두 고려하는 그래프 기반 매칭 기법을 사용한다.
• 사전에 의미적 그래프 표현을 계산하고 저장함으로써 효율적인 색인과 쿼리 처리를 지원하며, 쿼리 시간에 의미적 유사도 검색을 빠르게 수행할 수 있다.
• 외부 지식 기반(KB)과 합성 지식 기반(KB)을 통합하여 유니언 가능성 점수를 향상시키며, 지식 기반(KB) 커버리지가 증가할수록 거의 선형 수준의 성능 향상을 기록한다.
• 대규모 데이터 레이크에 대응할 수 있도록 설계되었으며, 병렬 처리 가능한 색인 생성과 의미적 그래프의 메모리 효율적 저장을 지원한다.

실험 결과

연구 질문

• RQ1 컬럼 쌍 간의 의미적 관계를 모델링함으로써, 컬럼 수준의 의미론을 넘어서 테이블 유니언 검색의 정확도를 향상시킬 수 있는가?
• RQ2 데이터 레이크 내용에서 유도된 합성 지식 기반(KB)은 기존의 정제된 지식 기반(KB)에 비해 유니언 검색 정확도 향상에 얼마나 효과적인가?
• RQ3 외부 지식 기반(KB)과 합성 지식 기반(KB)을 모두 통합함으로써 다양한 크기와 구조를 가진 데이터 레이크에서 유니언 검색 성능이 얼마나 향상되는가?
• RQ4 대규모 실세계 데이터 레이크(수천 개의 테이블 포함)에서 SANTOS의 색인 및 쿼리 성능은 어떻게 확장되는가?
• RQ5 SANTOS의 관계 기반 접근법은 D³L과 같은 컬럼 중심 최첨단 기법에 비해 정확도와 효율성 면에서 뛰어나다고 할 수 있는가?

주요 결과

• SANTOS는 대규모 벤치마크에서 D³L에 비해 최대 6배 빠른 쿼리 시간을 달성했으며, 색인 단계는 3배 느리지만 전체적으로는 성능이 뛰어나다.
• 합성 지식 기반(KB)을 사용함으로써, 기존 지식 기반(KB)에 존재하지 않는 의미적 관계를 포착함으로써, 특히 외부 지식 기반(KB) 커버리지가 제한된 데이터 레이크에서 유니언 검색 정확도가 향상된다.
• TUS 벤치마크에서 SANTOS는 D³L보다 높은 정밀도와 재현율을 기록하여 다양한 테이블 구조와 데이터 유형에서의 견고성을 입증한다.
• 특히 대규모 데이터 레이크에서 SANTOS의 평균 쿼리 시간은 D³L보다 현저히 낮으며, 효율적인 그래프 기반 색인과 더 작은 검색 공간 덕분이다.
• 합성 지식 기반(KB) 생성 과정(기능적 의존성(FD) 탐지 포함)은 대규모 벤치마크에서 약 17시간 19분이 소요되지만, 병렬 처리를 통해 총 소요 시간을 줄일 수 있다.
• 적절한 데이터가 의미적 관계를 유추할 수 있도록 제공된다면, 조사 테이블의 행 수가 적어도 충분한 경우 SANTOS는 높은 성능을 유지하며, 이는 인간의 해석 가능 기준과도 일치한다.