[논문 리뷰] Functional Dependencies Unleashed for Scalable Data Exchange

Angela Bonifati, Ioana Ileana외 1명|arXiv (Cornell University)|2016. 02. 01.

Advanced Database Systems and Queries참고 문헌 19인용 수 7

한 줄 요약

이 논문은 데이터 교환에서 일반적인 목표 함수 의존성(fds)을 효율적으로 처리하기 위해 소스-대-타겟 tgds와 목표 fds 간의 상호작용을 활용하는 인터리브드 채이스 기반 알고리즘을 제안한다. '포화 집합'을 구성하고 처리하는 방식으로 채이스 단계를 전략적으로 순서를 정함으로써 중간 결과 크기와 fd 적용 범위를 줄여, 기존 엔진 대비 뚜렷한 성능 향상과 확장성 향상을 달성한다.

ABSTRACT

We address the problem of efficiently evaluating target functional dependencies (fds) in the Data Exchange (DE) process. Target fds naturally occur in many DE scenarios, including the ones in Life Sciences in which multiple source relations need to be structured under a constrained target schema. However, despite their wide use, target fds' evaluation is still a bottleneck in the state-of-the-art DE engines. Systems relying on an all-SQL approach typically do not support target fds unless additional information is provided. Alternatively, DE engines that do include these dependencies typically pay the price of a significant drop in performance and scalability. In this paper, we present a novel chase-based algorithm that can efficiently handle arbitrary fds on the target. Our approach essentially relies on exploiting the interactions between source-to-target (s-t) tuple-generating dependencies (tgds) and target fds. This allows us to tame the size of the intermediate chase results, by playing on a careful ordering of chase steps interleaving fds and (chosen) tgds. As a direct consequence, we importantly diminish the fd application scope, often a central cause of the dramatic overhead induced by target fds. Moreover, reasoning on dependency interaction further leads us to interesting parallelization opportunities, yielding additional scalability gains. We provide a proof-of-concept implementation of our chase-based algorithm and an experimental study aiming at gauging its scalability with respect to a number of parameters, among which the size of source instances and the number of dependencies of each tested scenario. Finally, we empirically compare with the latest DE engines, and show that our algorithm outperforms them.

연구 동기 및 목표

• 데이터 교환(DE) 시스템에서 목표 함수 의존성(fds)으로 인한 성능 저하 문제를 해결한다.
• SQL의 일阶 표현력 제약로 인해 fds 처리에 어려움을 겪는 모든-SQL DE 엔진의 한계를 극복한다.
• 소스 의존성이 필요 없이 임의의 목표 fds를 효율적으로 처리할 수 있는 확장 가능한 채이스 기반 접근법을 개발한다.
• 지능적인 채이스 단계 순서 정렬을 통해 중간 결과 크기와 fd 적용 범위를 줄여 성능과 확장성을 향상시킨다.
• 분할된 포화 집합을 기반으로 채이스 프로세스를 구성함으로써 병렬 처리 기회를 제공한다.

제안 방법

• 목표 fds와 소스-대-타겟 tgd 평가를 제어적이고 의존성 인식적인 순서로 혼합하는 인터리브드 채이스 알고리즘을 도입한다.
• 모든 관련 의존성을 만족시키고 향후 처리에서 안전하게 제거될 수 있는 최소 크기의 튜플 집합인 '포화 집합'을 중심으로 채이스 프로세스를 구조화한다.
• 중복되거나 비용이 많이 드는 fd 평가를 최소화하기 위해 정적 충돌 그래프 분석을 활용해 fd 및 tgd 적용 순서를 지도한다.
• DBMS를 활용해 초기 s-t tgd 할당을 계산함으로써, 기존에 널리 사용되는 결합형 이외의 전체 일阶 s-t tgds를 지원한다.
• 정확성을 확보하면서도 중간 상태의 과도한 증가를 줄이기 위해 포화 집합을 점진적으로 구축하고 최종화한다.
• 포화 집합을 분할하여 독립적인 집합으로 나누어 병렬 처리가 가능하도록 설계한다.

실험 결과

연구 질문

• RQ1 1차 쿼리 리라이팅에 의존하지 않고 데이터 교환에서 목표 함수 의존성을 효율적으로 평가할 수 있는 방법은 무엇인가?
• RQ2 s-t tgds와 목표 fds 간의 의존성 상호작용이 중간 결과 크기와 성능에 미치는 영향은 무엇인가?
• RQ3 데이터 교환에서 fd 평가의 범위와 비용을 최소화할 수 있는 채이스 기반 접근법을 설계할 수 있는가?
• RQ4 클래식하거나 맹목적인 채이스 변형 대비 fd와 tgd 단계를 혼합하는 방식이 확장성에 어떻게 기여하는가?
• RQ5 포화 집합 분해를 통해 데이터 교환에서 병렬 처리와 성능 향상이 얼마나 가능할 수 있는가?

주요 결과

• 제안된 인터리브드 채이스 알고리즘은 포화 집합을 부분적으로 처리함으로써 중간 결과 크기를 크게 줄여, 목표 fds 평가로 인한 성능 저하의 주요 원인을 직접적으로 완화한다.
• 최신 기술의 DE 엔진 대비 몇 개의 주요 순서 수준에서 성능 향상을 달성하며, 특히 의존성과 데이터 볼륨이 높은 시나리오에서 뚜렷한 성능 향상을 보인다.
• s-t tgds와 목표 fds 간의 상호작용을 활용함으로써 fd 적용의 유효 범위를 줄여 상당한 오버헤드 감소를 이룬다.
• 정적 충돌 그래프 분석은 실세계 데이터 교환 워크로드에서 효과적이고 실용적인 최적화를 가능하게 한다.
• DBMS 기반 평가를 통해 전체 일阶 s-t tgds를 지원함으로써, 이전 시스템에서 흔히 사용되는 결합형 범주를 초월한다.
• 포화 집합으로 인스턴스를 분할함으로써 자연스러운 병렬 처리가 가능해져 추가적인 확장성 향상 효과를 얻는다.