[논문 리뷰] Optimizing Federated Queries Based on the Physical Design of a Data Lake

Philipp D. Rohde, María-Esther Vidal|arXiv (Cornell University)|2020. 02. 19.

Semantic Web and Ontologies참고 문헌 23인용 수 5

한 줄 요약

이 논문은 특히 관계형 데이터베이스를 포함한 기초 데이터 소스의 물리적 설계를 활용하여 신체적 설계 정보를 무시하는 기존 엔진들과는 달리, 의미 데이터 레이크 내 연합 SPARQL 쿼리 최적화를 위한 소스별 히ュ리스틱 기법을 제안한다. 인덱스 인식과 쿼리 엔진 수준 최적화를 통해 조인과 필터를 피라미드 하강시키는 방식으로, 상태의 기준 엔진들보다 실행 시간을 단축시킨다.

ABSTRACT

The optimization of query execution plans is known to be crucial for reducing the query execution time. In particular, query optimization has been studied thoroughly for relational databases over the past decades. Recently, the Resource Description Framework (RDF) became popular for publishing data on the Web. As a consequence, federations composed of different data models like RDF and relational databases evolved. One type of these federations are Semantic Data Lakes where every data source is kept in its original data model and semantically annotated with ontologies or controlled vocabularies. However, state-of-the-art query engines for federated query processing over Semantic Data Lakes often rely on optimization techniques tailored for RDF. In this paper, we present query optimization techniques guided by heuristics that take the physical design of a Data Lake into account. The heuristics are implemented on top of Ontario, a SPARQL query engine for Semantic Data Lakes. Using source-specific heuristics, the query engine is able to generate more efficient query execution plans by exploiting the knowledge about indexes and normalization in relational databases. We show that heuristics which take the physical design of the Data Lake into account are able to speed up query processing.

연구 동기 및 목표

• 기존 쿼리 엔진들이 물리적 설계 세부 정보를 간과함으로써 발생하는 의미 데이터 레이크 내 비효율적인 연합 쿼리 처리 문제를 해결한다.
• 색인과 정규화를 포함한 관계형 데이터베이스 스키마에 대한 소스별 지식을 통합하여 쿼리 실행 효율성을 향상시킨다.
• 특히 색인을 고려함으로써 일반적 또는 RDF 최적화 기반 접근 방식보다 더 효율적인 쿼리 실행 계획을 도출할 수 있음을 입증한다.
• Ontario SPARQL 쿼리 엔진에 조인 및 필터를 가능한 한 데이터 소스 수준으로 이관하는 히ュ리스틱을 통합하여 더 나은 쿼리 실행 계획을 생성한다.
• 특히 정규화된 관계형 테이블에 대한 스타형 서브쿼리에서 물리적 설계가 연합 환경에서의 쿼리 성능에 미치는 영향을 조사한다.

제안 방법

• Ontario SPARQL 쿼리 엔진에 소스별 히ュ리스틱을 통합하여 이질적 데이터 모델 간 연합 쿼리 처리를 네이티브로 지원한다.
• 히ュ리스틱 1(조인 피라미드 하강): 동일한 관계형 데이터베이스 엔드포인트에 대한 스타형 서브쿼리가 존재하고 조인 속성이 색인화되어 있을 경우, 이를 결합하여 크로스 소스 통신 횟수를 줄인다.
• 히ュ리스틱 2(필터 피라미드 하강): 필터 속성이 색인화되어 있을 경우 필터 연산을 데이터 소스 수준으로 이관한다; 그렇지 않으면 쿼리 엔진 수준에서 처리한다.
• RDF 분자 템플릿(RDF-MTs)을 사용하여 엔터티 클래스를 모델링하고, 효율적인 처리를 위해 서브쿼리를 스타형 패턴으로 분해한다.
• ANAPSID의 물리적 연산자와 비용 기반 추정을 활용하여 계획 생성을 향상시키고 중간 결과 크기를 줄인다.
• 관계형 소스에 대해 SPARQL 서브쿼리를 스키마 통계와 색인 정보를 유지한 채로 네이티브 SQL로 변환한다.

실험 결과

연구 질문

• RQ1 색인과 정규화와 같은 물리적 데이터베이스 설계 지식을 통합함으로써 의미 데이터 레이크 내 쿼리 최적화를 향상시킬 수 있는가?
• RQ2 색인화된 속성을 기반으로 한 조인 피라미드 하강 전략이 관계형 및 RDF 소스에 대한 연합 SPARQL 쿼리의 실행 시간에 어떤 영향을 미치는가?
• RQ3 필터 속성이 색인화되어 있을 경우와 아닐 경우, 필터 피라미드 하강 전략의 성능 향상 정도는 어느 정도인가?
• RQ4 관계형 테이블의 물리적 설계(예: 3NF 정규화, 기본 키 사용)가 연합 쿼리 실행 계획의 효율성에 어떤 영향을 미치는가?
• RQ5 이질적 데이터 레이크 환경에서 일반적 또는 RDF 최적화 기반 쿼리 최적화와 비교했을 때 소스별 히ュ리스틱을 사용할 경우 성능에 어떤 영향을 미치는가?

주요 결과

• 관계형 데이터베이스의 물리적 설계를 고려한 제안된 히ュ리스틱은 물리적 설계 세부 정보를 간과하는 최신 기술 엔진들보다 더 효율적인 쿼리 실행 계획을 도출한다.
• 조인 속성이 색인화되어 있을 경우 조인 피라미드 하강 전략이 효과적이며, 이는 쿼리 엔진 수준에서 수행되는 연산 수를 줄이고 데이터 소스 수준에서 서브쿼리를 결합함으로써 가능하다.
• 필터 피라미드 하강 전략은 필터 속성이 색인화되어 있을 경우에만 유익하며, 그렇지 않으면 중간 결과 크기가 커지므로 쿼리 엔진 수준에서 필터링이 더 효율적이다.
• 기본 키를 주제로 사용하는 정규화된 관계형 테이블에 대한 스타형 서브쿼리는 이전 연구에서 제시된 바와 같이 쿼리 최적화 잠재력을 향상시킨다.
• 쿼리 성능은 물리적 설계와 네트워크 조건 외에도 쿼리 엔진 및 워퍼의 구현 방식에 따라 영향을 받으며, 이는 최적화가 맥락에 따라 달라질 수 있음을 시사한다.
• 초기 구현 단계임에도 불구하고 히ュ리스틱은 측정 가능한 성능 향상을 보이며, 이는 향후 데이터 레이크 내 최적화를 위한 물리적 설계 인식의 타당한 길임을 시사한다.