[논문 리뷰] Distribution Policies for Datalog

Bas Ketsman, Aws Albarghouthi외 1명|arXiv (Cornell University)|2016. 01. 01.

Advanced Database Systems and Queries인용 수 1

한 줄 요약

이 논문은 분산 Datalog 평가에서 병렬 정확성(parallel-correctness)의 분석을 단순 합성 쿼리(UCQ)와 부정을 포함한 합성 쿼리(CQ¬)로 확장하며, UCQ의 경우 병렬 정확성이 여전히 ΠP₂에 속하지만, CQ¬의 경우 기하급수적으로 큰 반례가 필요하기 때문에 coNEXPTIME-완전이 된다고 보여준다. 주요 기여는 CQ¬ 포함성(containment)이 coNEXPTIME-완전임을 증명한 것으로, 이는 이전에 부정적 조건이 없는 일반 스키마 하에서 ΠP₂-완전이라고 여겨졌던 가정에 도전하는 것이다.

ABSTRACT

Modern data management systems extensively use parallelism to speed up query processing over massive volumes of data. This trend has inspired a rich line of research on how to formally reason about the parallel complexity of join computation. In this paper, we go beyond joins and study the parallel evaluation of recursive queries. We introduce a novel framework to reason about multi-round evaluation of Datalog programs, which combines implicit predicate restriction with distribution policies to allow expressing a combination of data-parallel and query-parallel evaluation strategies. Using our framework, we reason about key properties of distributed Datalog evaluation, including parallel-correctness of the evaluation strategy, disjointness of the computation effort, and bounds on the number of communication rounds.

연구 동기 및 목표

• 분산 쿼리 평가에서 병렬 정확성 이론을 단순 합성 쿼리(UCQ)와 부정을 포함한 합성 쿼리(CQ¬)로 확장한다.
• UCQ와 CQ¬에 대해 분포 정책 하에서 병렬 정확성, 병렬 타당성, 병렬 완전성의 복잡도를 조사한다.
• CQ¬의 포함성 문제(containment problem)가 이전에 예상된 것보다 더 복잡한지, 특히 일반 스키마 하에서인지 확인한다.
• 스키마가 고정되거나 관계의 어조가 유한한 조건에서 CQ¬의 병렬 정확성의 높은 복잡도가 어떻게 감소할 수 있는지 규명한다.
• 병렬 정확성으로부터 하한 복잡도를 포함한 새로운 복잡도 상한과 감소 기법을 제공한다.

제안 방법

• CQ에서 UCQ로 병렬 정확성의 평가 기반 특성화를 확장하여, 병렬 정확성이 여전히 ΠP₂에 속함을 보여준다.
• CQ¬에 대한 반례 기반 알고리즘을 도입하며, 기하급수적으로 큰 반례를 활용하여 coNEXPTIME 상한을 확보한다.
• CQ¬ 포함성 문제에서 병렬 정확성(및 그 변종)으로의 감소를 통해 coNEXPTIME-난이도를 증명한다.
• 쿼리 포함성 문제에서 병렬 정확성으로의 새로운 감소 기법을 사용하여, CQ¬ 포함성이 coNEXPTIME-완전임을 증명한다.
• 전체 합성 쿼리에 부정이 포함된 경우(FCQ¬)를 분석하며, 전체성 제약 조건 하에서 병렬 정확성이 coNP-완전으로 감소함을 보여준다.
• 유사한 감소 기법을 적용하여, 전체 CQ¬의 합성 쿼리(UFCQ¬)에 대한 복잡도 상한을 유도하며, coNP-완전성을 확립한다.

실험 결과

연구 질문

• RQ1 임의의 분포 정책 하에서 단순 합성 쿼리(UCQ)의 병렬 정확성 복잡도는 무엇인가?
• RQ2 부정의 존재가 병렬 정확성의 복잡도에 어떤 영향을 미치며, 여전히 평가 기반 특성화로 기술할 수 있는가?
• RQ3 부정을 포함한 합성 쿼리(CQ¬)의 포함성 문제는 이전에 예상된 것보다 더 복잡한가, 특히 어조 제약이 없는 경우에 그렇다면 어떻게 되는가?
• RQ4 스키마가 고정되거나 관계의 어조가 유한한 조건에서 CQ¬의 병렬 정확성 복잡도가 coNEXPTIME 이하로 내려갈 수 있는 조건은 무엇인가?
• RQ5 CQ¬의 포함성 문제를 병렬 정확성으로 감소시킬 수 있으며, 이는 복잡도 상한에 어떤 영향을 미치는가?

주요 결과

• 단순 합성 쿼리(UCQ)의 병렬 정확성은 여전히 ΠP₂에 속하며, CQ에서 UCQ로의 평가 기반 특성화가 확장됨을 보여준다.
• 부정을 포함한 합성 쿼리(CQ¬)의 병렬 정확성은 기하급수적으로 큰 반례가 필요하기 때문에 coNEXPTIME-완전이다.
• CQ¬의 포함성 문제(containment problem)는 coNEXPTIME-완전이며, 이는 일반 스키마 하에서 이전에 예상된 ΠP₂-완전성과 모순된다.
• 데이터베이스 스키마가 고정되거나 관계의 어조가 유한한 경우, CQ¬의 병렬 정확성은 ΠP₂로 감소한다.
• 전체 합성 쿼리에 부정이 포함된 경우(UFCQ¬)의 병렬 정확성은 coNP-완전이며, 복잡도가 크게 감소한다.
• 논문은 CQ¬의 포함성 문제에서 병렬 정확성으로의 새로운 감소 기법을 확립하여, 하한 복잡도를 이전 문제로 이전시키며, 포함성 문제의 coNEXPTIME-완전성을 증명한다.