[논문 리뷰] Semantics-aware Dataset Discovery from Data Lakes with Contextualized Column-based Representation Learning

Grace Fan, Jin Wang외 3명|arXiv (Cornell University)|2022. 10. 04.

Data Quality and Management인용 수 5

한 줄 요약

이 논문은 대조적이고 문맥 기반의 컬럼 표현 학습을 사용하여 데이터 레이크 내의 의미 인식 기반 데이터셋 탐색을 위한 엔드 투 엔드 프레임워크인 Starmie를 제안한다. 사전 훈련된 언어 모델에서 완전히 비지도 학습 방식으로 다중 컬럼 트랜스포머 인코더를 훈련함으로써 Starmie는 컬럼 임베딩 간의 코사인 유사도를 통해 유니언 가능도 점수를 계산하며, 최신 기술 대비 MAP와 재현율에서 6.8점 높은 성능을 기록한다. 또한 HNSW 인덱스를 통해 선형 스캔 대비 3,000배 빠른 쿼리 처리를 실현한다.

ABSTRACT

Dataset discovery from data lakes is essential in many real application scenarios. In this paper, we propose Starmie, an end-to-end framework for dataset discovery from data lakes (with table union search as the main use case). Our proposed framework features a contrastive learning method to train column encoders from pre-trained language models in a fully unsupervised manner. The column encoder of Starmie captures the rich contextual semantic information within tables by leveraging a contrastive multi-column pre-training strategy. We utilize the cosine similarity between column embedding vectors as the column unionability score and propose a filter-and-verification framework that allows exploring a variety of design choices to compute the unionability score between two tables accordingly. Empirical evaluation results on real table benchmark datasets show that Starmie outperforms the best-known solutions in the effectiveness of table union search by 6.8 in MAP and recall. Moreover, Starmie is the first to employ the HNSW (Hierarchical Navigable Small World) index for accelerate query processing of table union search which provides a 3,000X performance gain over the linear scan baseline and a 400X performance gain over an LSH index (the state-of-the-art solution for data lake indexing).

연구 동기 및 목표

• 일관성 없고 불완전한 메타데이터로 인해 키워드 및 구문 기반 검색의 한계를 해결하기 위해.
• 표 내의 컬럼 간 풍부한 문맥적 의미 정보를 포착하여 표 유니언 검색 정확도를 향상시키기 위해.
• 다양한 데이터 레이크 환경에 일반화 가능한 완전히 비지도이며 확장 가능한 프레임워크를 개발하기 위해.
• HNSW와 같은 효율적인 인덱싱 구조를 사용하여 대규모 환경에서 표 유니언 검색을 가속화하기 위해.

제안 방법

• 라벨이 없는 데이터 없이 사전 훈련된 언어 모델에서 다중 컬럼 트랜스포머 인코더를 훈련하기 위해 대조적 다중 컬럼 사전 훈련 전략을 활용한다.
• 표 내의 컬럼 간 문맥적 관계를 모델링하기 위해 다중 컬럼 표 트랜스포머 인코더를 활용한다.
• 학습된 컬럼 임베딩 벡터 간의 코사인 유사도를 사용하여 유니언 가능도 점수를 계산한다.
• 유니언 가능도 점수 계산을 위한 다양한 설계 선택 사항을 탐색하기 위해 필터링 및 검증 프레임워크를 도입한다.
• 대규모 데이터 레이크에서 쿼리 처리를 가속화하기 위해 HNSW(Hierarchical Navigable Small World) 인덱스를 활용한다.
• 양성 컬럼 쌍 간의 일치를 최대화하고 부정적 쌍 간의 일치를 최소화하기 위해 대조 학습을 사용하여 컬럼 인코더를 자기지도 학습 방식으로 훈련한다.

Figure 1 . An example of table union search on Open Data.

실험 결과

연구 질문

• RQ1 자기지도 학습 및 문맥 기반 컬럼 표현 학습이 데이터 레이크 내 표 유니언 검색 정확도를 향상시킬 수 있는가?
• RQ2 라벨이 없는 데이터에서 대조 학습이 컬럼 간 의미적 및 문맥적 관계를 얼마나 효과적으로 포착하는가?
• RQ3 HNSW와 같은 효율적인 인덱싱 구조가 대규모에서 표 유니언 검색을 상당히 가속화할 수 있는가?
• RQ4 실제 벤치마크에서 기존 솔루션과 비교해 본 결과, 제안된 프레임워크는 정밀도, 재현율, MAP 측면에서 어떤 성능을 보이는가?

주요 결과

• Starmie는 실제 표 벤치마크에서 최고의 기존 솔루션 대비 평균 평균 정밀도(MAP)와 재현율에서 6.8점 높은 성능을 기록한다.
• HNSW 인덱스를 통해 선형 스캔 대비 3,000배, LSH 인덱싱 대비 400배의 성능 향상을 달성한다.
• Starmie는 표 유니언 검색에 대조 학습을 적용한 최초의 프레임워크로, 완전히 비지도이며 문맥 인식 기반의 컬럼 표현 학습을 가능하게 한다.
• 다중 컬럼 트랜스포머 인코더의 사용은 상호 컬럼 간 문맥을 효과적으로 포착하여 유니언 가능성 예측 성능을 향상시킨다.
• 필터링 및 검증 프레임워크는 학습된 임베딩 기반으로 다양한 설계 선택 사항을 고려한 민첩하고 효과적인 표 유니언 가능성 점수 계산을 가능하게 한다.
• 소스 코드, 데이터, 아티팩트는 공개적으로 https://github.com/megagonlabs/starmie 에 제공된다.

Figure 2 . During the offline phase, $\mathsf{Starmie}$ pre-trains a multi-column table encoder using contrastive learning and stores the embeddings of data lake columns in vector indices like HNSW. During online processing, $\mathsf{Starmie}$ retrieves candidate tables with similar contextualized c