[논문 리뷰] Magic Sets for Disjunctive Datalog Programs

Mario Alviano, Wolfgang Faber외 2명|arXiv (Cornell University)|2012. 04. 27.

Logic, Reasoning, and Knowledge참고 문헌 88인용 수 10

한 줄 요약

이 논문은 분리형 Datalog 프로그램에 대한 새로운 최적화 기법인 동적 마법 집합(Dynamic Magic Sets, DMS)을 소개한다. 이 기법은 전략적 부정이 포함된 프로그램에서 비결정적 모델 탐색 단계 동안 관련이 없는 프로그램 부분을 동적으로 제거하여 쿼리 평가 성능을 향상시킨다. 기존의 정적 마법 집합 기법은 지그재그화에 국한되어 있었지만, DMS는 동적 바인딩 전파와 불완전한 집합에 대한 형식적 연결을 활용하여 특히 비일관된 데이터베이스에서 일관된 쿼리 답변을 수행할 때 지수적 성능 향상을 달성한다.

ABSTRACT

In this paper, a new technique for the optimization of (partially) bound queries over disjunctive Datalog programs with stratified negation is presented. The technique exploits the propagation of query bindings and extends the Magic Set (MS) optimization technique. An important feature of disjunctive Datalog is nonmonotonicity, which calls for nondeterministic implementations, such as backtracking search. A distinguishing characteristic of the new method is that the optimization can be exploited also during the nondeterministic phase. In particular, after some assumptions have been made during the computation, parts of the program may become irrelevant to a query under these assumptions. This allows for dynamic pruning of the search space. In contrast, the effect of the previously defined MS methods for disjunctive Datalog is limited to the deterministic portion of the process. In this way, the potential performance gain by using the proposed method can be exponential, as could be observed empirically. The correctness of MS is established thanks to a strong relationship between MS and unfounded sets that has not been studied in the literature before. This knowledge allows for extending the method also to programs with stratified negation in a natural way. The proposed method has been implemented in DLV and various experiments have been conducted. Experimental results on synthetic data confirm the utility of MS for disjunctive Datalog, and they highlight the computational gain that may be obtained by the new method w.r.t. the previously proposed MS methods for disjunctive Datalog programs. Further experiments on real-world data show the benefits of MS within an application scenario that has received considerable attention in recent years, the problem of answering user queries over possibly inconsistent databases originating from integration of autonomous sources of information.

연구 동기 및 목표

• 기존 마법 집합 기법이 결정적 지그재그화 단계에만 최적화되어 비결정적 모델 탐색 단계를 忽略하는 데서 비롯되는 비효율성을 해결하기 위해.
• 백트래킹 과정에서 발생하는 바인딩과 가정을 활용하여 모델 생성 단계에서 관련 없는 프로그램 요소를 동적으로 제거할 수 있는 동적 최적화 기법을 개발하기 위해.
• 마법 집합과 불완전한 집합 사이의 새로운 관계를 통해 정당성의 형식적 증명을 수립하고, 전략적 부정이 포함된 프로그램으로의 자연스러운 확장이 가능하도록 하기 위해.
• 이 기법을 DLV 시스템에 구현하고, 합성 및 실제 워크로드에서 기존 정적 마법 집합 기법에 비해 우월한 성능을 입증하기 위해.
• 특히 자율적 소스로부터 통합된 비일관된 데이터베이스에서의 일관된 쿼리 답변에 응용 가능한 실용적 유용성을 검증하기 위해.

제안 방법

• 이 방법은 정의가 비결정적인 마법 집합 술어를 동적으로 생성하여, 안정 모델 간에 그 확장이 달라지도록 하여 모델 탐색 단계에서의 제거를 가능하게 한다.
• 질의에서 바인딩을 전파하는 방식으로 상향식 질의 평가를 시뮬레이션하고, 이를 마법 집합 술어를 정의하는 새로운 규칙에 통합한다.
• 마법 집합과 불완전한 집합 사이의 형식적 관계를 활용하여 정당성 보장을 하고, 전략적 부정이 포함된 프로그램으로의 자연스러운 확장이 가능하도록 한다.
• 이 기법은 DLV 시스템에 통합되어 내부 데이터 구조와 지그재그 모듈을 활용하여 효율적인 실행을 보장한다.
• 변환 후에 부분집합 검사를 적용하여 중복 규칙을 제거함으로써 최적화된 프로그램의 성능을 추가로 향상시킨다.
• 이 방법은 바인딩된 질의와 부분적으로 바인딩된 질의를 모두 지원하여 프로그램 인스턴스화의 관련 부분에 집중된 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 전략적 부정이 포함된 분리형 Datalog 프로그램에 대해 마법 집합 최적화를 효과적으로 확장하여 지그재그화 단계를 넘어서 성능 향상을 이룰 수 있는가?
• RQ2 분리형 Datalog에서 비결정적 모델 탐색 단계 동안 관련 없는 프로그램 요소를 어떻게 동적으로 제거할 수 있는가?
• RQ3 분리형 Datalog에서 마법 집합과 불완전한 집합 사이의 형식적 관계는 무엇이며, 이를 통해 정당성을 보장하고 어떻게 활용할 수 있는가?
• RQ4 제안된 동적 마법 집합 기법은 런타임과 탐색 공간 감소 측면에서 기존 정적 마법 집합 기법에 비해 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ5 이 방법은 비일관된 통합 데이터베이스에서의 일관된 쿼리 답변과 같은 실제 응용 시나리오에 효과적으로 적용되고 유용한가?

주요 결과

• 제안된 동적 마법 집합(DMS) 기법은 이전에 정의된 정적 마법 집합(SMS) 기법에 비해 지수적 성능 향상을 달성하며, 특히 모델 생성 단계에서 두드러진다.
• 합성 데이터를 대상으로 한 실험 결과, DMS는 비결정적 계산 동안 탐색 공간을 크게 줄여 빠른 쿼리 평가를 가능하게 한다.
• 실제 데이터 통합 응용 프로그램에서의 실질적 데이터에서 DMS는 비일관된 데이터베이스에서 효율적인 일관된 쿼리 답변을 가능하게 하여 실용적 유용성을 입증한다.
• DMS는 DLV 시스템에 통합되어 기존 내부 데이터 구조를 활용하여 주요 아키텍처 변경 없이도 효율적이고 확장 가능한 실행을 가능하게 한다.
• 이 방법의 정당성은 불완전한 집합에 대한 새로운 연결을 통해 형식적으로 증명되었으며, 이는 전략적 부정이 포함된 프로그램으로의 자연스러운 확장도 가능하게 한다.
• 변환 이후의 후속 부분집합 검사를 통해 최적화된 프로그램 내 중복 규칙를 제거함으로써 성능 향상이 추가로 이루어진다.