[논문 리뷰] Efficiently Computing Provenance Graphs for Queries with Negation

Seokki Lee, Sven Köhler외 2명|arXiv (Cornell University)|2017. 01. 20.

Scientific Computing and Data Management참고 문헌 21인용 수 4

한 줄 요약

이 논문은 부정을 포함한 일阶 논리 쿼리에서 관계가 나타나는 이유와 누락되는 이유를 설명하기 위해 통합적이고 효율적인 프레임워크를 제안한다. 화재 규칙(firing rules)을 도입하여 성공적이고 실패한 유도 과정을 모두 포괄하도록 확장하고, 확장된 SQL 기반 재작성 기법을 통해 확장 가능한 실행을 구현하며, 불필요한 증명 그래프를 조기에 제거함으로써 기존 방법보다 뚜렷한 성능 향상을 달성한다.

ABSTRACT

Explaining why an answer is in the result of a query or why it is missing from the result is important for many applications including auditing, debugging data and queries, and answering hypothetical questions about data. Both types of questions, i.e., why and why-not provenance, have been studied extensively. In this work, we present the first practical approach for answering such questions for queries with negation (first-order queries). Our approach is based on a rewriting of Datalog rules (called firing rules) that captures successful rule derivations within the context of a Datalog query. We extend this rewriting to support negation and to capture failed derivations that explain missing answers. Given a (why or why-not) provenance question, we compute an explanation, i.e., the part of the provenance that is relevant to answer the question. We introduce optimizations that prune parts of a provenance graph early on if we can determine that they will not be part of the explanation for a given question. We present an implementation that runs on top of a relational database using SQL to compute explanations. Our experiments demonstrate that our approach scales to large instances and significantly outperforms an earlier approach which instantiates the full provenance to compute explanations.

연구 동기 및 목표

• 부정을 포함한 쿼리에서 답변이 나타나는 이유와 누락되는 이유를 동시에 설명하는 데 도전하는 문제를 해결하며, '왜'와 '왜-아님' 증명을 통합한다.
• 대규모 데이터베이스에서는 전체 증명 그래프를 인스턴스화하는 기존 접근법의 확장성 한계를 극복한다.
• 사용자 질문에 해당하는 특정 부분만을 계산하여 불필요한 계산을 피하는 실용적이고 효율적인 방법을 개발한다.
• 표준 SQL을 사용해 대규모 관계형 데이터베이스에서 효율적인 증명 계산을 가능하게 하여 실제 시스템에 구현 가능한 방법을 제공한다.
• 다중 변수와 부정된 하위목표를 포함한 복잡한 쿼리를 지원하며, 이는 실세계의 데이터 분석 및 감사 워크로드에서 흔히 발생한다.

제안 방법

• 각 규칙 적용의 유도 맥락(입력 튜플 의존성 포함)을 포괄하는 '화재 규칙'을 도입하여 Datalog 규칙을 재작성한다.
• 누락된 입력 튜플을 추적하여 실패한 유도 과정을 모델링함으로써, 부정적 증명을 통해 누락된 답변을 설명할 수 있도록 화재 규칙을 확장한다.
• 특정 쿼리(왜 또는 왜-아님)에 관련된 최소 증명 부분 그래프인 '설명'을 정의하며, 조기에 불필요한 부분을 제거한다.
• 관계형 데이터베이스에서 실행 가능한 SQL 쿼리로 증명 계산을 컴iles하여 효율적이고 확장 가능한 평가를 가능하게 한다.
• 쿼리의 바인딩 제약 조건에 기반해 관련 없는 경로를 조기에 제거하는 최적화를 적용하여 계산 오버헤드를 줄인다.
• 존재 기술자, 부정, 다중 조인을 포함한 복잡한 Datalog 쿼리를 SQL의 관계형 뷰 집합으로 표현함으로써 증명 로직을 표현한다.

실험 결과

연구 질문

• RQ1 부정이 포함된 일阶 쿼리에서 양면적인 답변(긍정적 및 부정적)에 대해 어떻게 효율적으로 증명을 계산할 수 있는가?
• RQ2 특정 쿼리에 대해 전체 증명 그래프를 구성하지 않고도 관련 부분 그래프(설명)만 계산할 수 있는가?
• RQ3 데이터베이스 크기와 쿼리 복잡도가 증가함에 따라 성능이 어떻게 변화하는가? 특히 다중 변수와 부정을 포함한 쿼리의 경우 어떻게 되는가?
• RQ4 기존 방법이 전체 증명 그래프를 인스턴스화하는 데 비해, 제안된 방법이 뚜렷한 성능 향상을 달성할 수 있는가?
• RQ5 누락된 답변에 대한 증명 설명의 크기와 계산 시간을 줄이기 위해 효과적인 최적화는 무엇인가?

주요 결과

• 제안된 방법은 이전의 DM 방법보다 뚜렷한 성능 향상을 보이며, 10,000개 튜플 이하의 데이터셋에 국한된 DM과 달리 훨씬 큰 데이터베이스에서도 확장 가능하다.
• 다양한 변수와 부정을 포함한 쿼리(r4, r5, r6 등)에 대해서도 제안된 방법은 효율적이며, DM이 작은 데이터셋조차도 타임아웃이 발생하는 상황에서 성공적으로 작동한다.
• 왜-아님 질문에 대해 제안된 방법의 런타임은 데이터베이스 크기에 따라 이차 함수 이하로 증가하지만, DM의 런타임은 작은 인스턴스를 초월하면 금방 금기된다.
• DBLP 및 TPC-H 워크로드 모두에서 제안된 방법은 일관된 성능 향상을 보이며, 다양한 쿼리 유형과 바인딩 패턴에서 안정적인 성능을 확보한다.
• 프루닝 최적화를 통해 관련 없는 유도 경로만을 집중적으로 고려함으로써 계산된 증명 그래프의 크기를 줄여 더 빠른 쿼리 실행과 낮은 메모리 사용을 달성한다.
• SQL 기반 구현 덕분에 표준 RDBMS에서의 배포가 가능해져, 실세계의 데이터 감사 및 디버깅 응용 분야에서 실용적인 프레임워크가 된다.