[논문 리뷰] Efficient Joinable Table Discovery in Data Lakes: A High-Dimensional Similarity-Based Approach

Yuyang Dong, Kunihiro Takeoka외 2명|arXiv (Cornell University)|2020. 10. 26.

Data Quality and Management참고 문헌 30인용 수 10

한 줄 요약

이 논문은 고차원 벡터 임베딩과 유사도 기반 조인을 사용하여 데이터 레이크 내에서 효율적인 조인 가능한 테이블을 탐지하기 위한 PEXESO 프레임워크를 제안한다. 피벗 기반 필터링과 블록-검증 전략을 활용함으로써 PEXESO는 등가조인 및 기존의 유사도 기반 방법들을 크게 능가하여 의미적으로 유사한 테이블을 식별하며, 더 높은 리콜과 선형 확장성을 확보함으로써 기계학습 데이터 정제를 향상시킨다.

ABSTRACT

Finding joinable tables in data lakes is key procedure in many applications such as data integration, data augmentation, data analysis, and data market. Traditional approaches that find equi-joinable tables are unable to deal with misspellings and different formats, nor do they capture any semantic joins. In this paper, we propose PEXESO, a framework for joinable table discovery in data lakes. We embed textual values as high-dimensional vectors and join columns under similarity predicates on high-dimensional vectors, hence to address the limitations of equi-join approaches and identify more meaningful results. To efficiently find joinable tables with similarity, we propose a block-and-verify method that utilizes pivot-based filtering. A partitioning technique is developed to cope with the case when the data lake is large and the index cannot fit in main memory. An experimental evaluation on real datasets shows that our solution identifies substantially more tables than equi-joins and outperforms other similarity-based options, and the join results are useful in data enrichment for machine learning tasks. The experiments also demonstrate the efficiency of the proposed method.

연구 동기 및 목표

• 등가조인 기반의 테이블 탐지 방법은 철자 변형과 용어 이질성로 인해 의미적 유사성을 포착하지 못하므로 이러한 한계를 해결하기 위함이다.
• 정확한 문자열 매칭이 아닌 텍스트 컬럼 값 간의 의미론적 유사도를 기반으로 조인 가능한 테이블을 탐지할 수 있도록 하기 위함이다.
• 대규모 데이터 레이크에서 고차원 임베딩에 대한 유사도 조인을 지원하는 효율적이고 확장 가능한 프레임워크를 설계하기 위함이다.
• 피벗 기반 필터링과 역색인 기반 검증을 통해 비용이 많이 드는 유사도 계산을 줄이기 위함이다.
• 메모리에 담을 수 없는 대규모 데이터 레이크를 고려하여 계층적 파artitioning 전략을 도입해 외부 메모리 처리를 지원하기 위함이다.

제안 방법

• 사전에 학습된 임베딩(예: GloVe)을 사용하여 텍스트 컬럼 내의 각 레코드를 고차원 벡터로 표현함으로써 컬럼을 다중집합 형태의 벡터로 변환한다.
• 거리 함수와 임계값을 기반으로 한 유사도 조건을 정의하여 컬럼 간의 조인 가능성 정의를 통해 의미적으로 유사한 값 간의 허용 가능한 매칭을 허용한다.
• 블록-검증 전략을 적용: 먼저 피벗 기반 필터링을 통해 후보 벡터 쌍을 줄여 검색 공간을 축소하고, 이후 유망한 쌍들만 검증한다.
• 피벗 공간을 계층적 격자로 분할하여 대규모 데이터 레이크에서 메모리 초과 시에도 효율적인 외부 메모리 처리를 가능하게 한다.
• 피벗 공간에 역색인을 구축하여 유사도 계산 횟수를 거의 선형 수준으로 줄임으로써 검증 속도를 가속화한다.
• 동적 피벗 선택 메커니즘과 데이터 파artitioning 기법을 통합하여 다양한 데이터 크기와 차원 수에서 성능 유지를 도모한다.

실험 결과

연구 질문

• RQ1 기존의 등가조인 방법에 비해 고차원 벡터 임베딩이 데이터 레이크 내 의미론적 조인 가능한 테이블 탐지에 얼마나 기여하는가?
• RQ2 제한된 주요 메모리 환경에서 대규모 데이터 레이크에서 유사도 기반 조인을 어떻게 효율적으로 계산할 수 있는가?
• RQ3 유사도 계산의 비용을 최소화하면서도 높은 리콜을 유지하기 위해 어떤 색인 및 필터링 전략이 효과적인가?
• RQ4 데이터 크기, 컬럼 수, 벡터 차원 수 증가에 따라 제안된 프레임워크는 어떻게 확장되는가?
• RQ5 향상된 데이터 정제를 통해 프레임워크가 하류 기계학습 작업에 얼마나 기여하는가?

주요 결과

• PEXESO는 등가조인 방법에 비해 훨씬 더 많은 조인 가능한 테이블을 식별하며, 특히 'American Indian/Alaska Native'와 'Mainland Indigenous'와 같은 의미적 변형이 있는 경우에 뚜렷한 성능 향상을 보였다.
• 실제 데이터셋인 OPEN, SWDC, LWDC 와 같은 경우에서 다른 유사도 기반 접근법에 비해 리콜과 효율성 측면에서 모두 뛰어난 성능을 보였다.
• 검색 시간과 색인 크기가 데이터 크기 및 차원 수에 거의 선형적으로 증가함으로써 강력한 확장성을 입증하였으며, 이는 주로 역색인 기반 검증 기법 덕분이었다.
• 외부 메모리 버전인 PEXESO-H는 대규모 데이터셋에서도 검색 시간과 색인 크기가 선형 증가하는 경향을 유지하였고, 다른 방법들은 초선형 증가를 보였다.
• 제거 실험을 통해 피벗 선택과 데이터 파artitioning 전략이 성능 향상에 크게 기여하며, 블록-검증 전략이 불필요한 유사도 계산을 줄이는 데 효과적임을 확인하였다.
• 실험 결과, PEXESO에서 생성된 조인 결과는 기계학습 모델의 성능 향상에 기여함을 입증하였으며, 이는 데이터 정제 및 특징 증강 작업에서의 유용성을 검증한다.