[논문 리뷰] Optimal Algorithms for Ranked Enumeration of Answers to Full Conjunctive Queries

Nikolaos Tziavelis, Deepak Ajwani외 3명|arXiv (Cornell University)|2019. 11. 13.

Optimization and Search Problems참고 문헌 101인용 수 7

한 줄 요약

이 논문은 선택적 다이오이드를 통한 동적 프로그래밍 문제의 일반화를 통해 전체 조건부 조건 쿼리(CQs, 포함 순환 쿼리 포함)에 대한 최적의 순위 기반 결과 열거 알고리즘을 제시한다. 이는 k-최단 경로 알고리즘을 일반화하여 데이터 복잡도 하에서 최초 결과 도착 시간과 결과 간 지연 시간을 최소화함으로써, 전체 결과를 생성하는 배치 처리 방법조차도 성능상 열세를 보이지 않는 성능을 달성한다. 다양한 쿼리 유형에 대해 이론적 및 실험적 검증이 이루어졌다.

ABSTRACT

We study ranked enumeration of join-query results according to very general orders defined by selective dioids. Our main contribution is a framework for ranked enumeration over a class of dynamic programming problems that generalizes seemingly different problems that had been studied in isolation. To this end, we extend classic algorithms that find the k-shortest paths in a weighted graph. For full conjunctive queries, including cyclic ones, our approach is optimal in terms of the time to return the top result and the delay between results. These optimality properties are derived for the widely used notion of data complexity, which treats query size as a constant. By performing a careful cost analysis, we are able to uncover a previously unknown tradeoff between two incomparable enumeration approaches: one has lower complexity when the number of returned results is small, the other when the number is very large. We theoretically and empirically demonstrate the superiority of our techniques over batch algorithms, which produce the full result and then sort it. Our technique is not only faster for returning the first few results, but on some inputs beats the batch algorithm even when all results are produced.

연구 동기 및 목표

• 특히 순환 쿼리인 전체 조건부 조건 쿼리에 대해 효율적인 순위 기반 결과 열거 문제를 해결함으로써 열려 있는 문제를 해결하고자 한다. 결과는 주어진 순위 함수 기반으로 순서대로 반환되어야 한다.
• 선택적 다이오이드와 동적 프로그래밍을 기반으로 한 단일 이론적 프레임워크에 따라 산만한 순위 기반 쿼리 평가 접근법을 통합하고자 한다.
• 쿼리 크기를 상수로 간주하는 데이터 복잡도 하에서 최적성을 달성하고자 하며, 최초 결과 도착 시간과 이후 결과 간 지연 시간을 모두 최소화하고자 한다.
• 작은 k에 최적화된 전략과 큰 k에 최적화된 전략 간의 상호 교환 관계를 수식적으로 분석함으로써, 이들의 渐近적 행동을 공식적으로 기술하고자 한다.
• 모든 결과를 생성하는 경우조차도 전체 조인 + 정렬 방식의 배치 알고리즘보다 성능이 뛰어나다는 것을 입증함으로써, 성능 향상을 보여주고자 한다.

제안 방법

• 프레임워크는 선택적 다이오이드를 기반으로 하여 전체 조건부 조건 쿼리에 대한 순위 기반 의미 체계를 정의하는 k-최단 경로 알고리즘의 일반화를 수행한다.
• 레크시코그래픽 순서를 존중하면서 표현의 과다 증가를 최소화하는 트리 기반 쿼리 계획 분해를 도입하며, 선형 시간 재구성 절차를 사용한다.
• 우선순위 큐를 활용한 동적 프로그래밍을 통해 순위 순서로 결과를 열거하며, 최적의 지연 시간과 최초 결과 도착 시간을 유지한다.
• 두 가지 열거 전략 간의 상호 교환 관계를 수식적으로 정의한다: 하나는 조기 컷오프 기반이고, 다른 하나는 효율적인 중간 결과 전파 기반이며, 복잡도는 결과 수 k에 따라 달라진다.
• 이 방법은 순환 쿼리와 비순환 쿼리 모두를 지원하며, 분수 모서리 커버 분석과 RAM 모델 기반 비용 모델링을 통해 최적성 증명이 가능하다.
• 사전 처리 단계에서는 압축되고 사전 순서로 정렬된 인라인 표현을 계산하여, 로그 시간 지연으로 효율적인 열거를 가능하게 한다.

실험 결과

연구 질문

• RQ1 전체 조건부 조건 쿼리에 대해 데이터 복잡도 하에서 최초 결과 도착 시간과 결과 간 지연 시간을 최소화하는 순위 기반 열거 알고리즘을 설계할 수 있는가?
• RQ2 작은 k에 최적화된 전략과 큰 k에 최적화된 전략 간의 渐진적 성능 비교는 어떻게 이루어지며, 이들의 상호 교환 관계를 수식적으로 기술할 수 있는가?
• RQ3 예를 들어 top-k 조인, 하위 그래프 패턴 순위 매기기 등 서로 다른 순위 기반 쿼리 평가 접근법들을 단일 이론적 프레임워크로 통합할 수 있는가?
• RQ4 배치 알고리즘(전체 조인 + 정렬)의 성능을 top-k 이상의 경우에도 뛰어넘을 수 있는가?
• RQ5 기존의 최적 조인 알고리즘을 순위 기반 열거를 지원하도록 확장할 수 있으며, 동일한 최적성 보장을 유지할 수 있는가?

주요 결과

• 4-사이클 쿼리에 대해 최초 결과 도착 시간이 O(n^{1.5})에 도달하며, 이는 불린 버전의 최고 성능 기준과 일치한다. 비록 top-k 문제는 더 어렵게 보일 수 있지만, 이는 최고 성능에 도달한다.
• 전체 조건부 조건 쿼리에 대해 최초 결과 도착 시간(TTF)과 결과 간 지연 시간(TTL)을 모두 최적화하며, TTF는 불린 쿼리에 대한 최고 성능 기준과 일치한다.
• 모든 결과가 필요할 경우조차도 이 방법은 배치 알고리즘을 능가하며, 일부 입력에 대해서는 전체 재-materialization과 정렬보다도 증분적 열거가 더 빠르다는 것을 입증한다.
• 기존에 알려지지 않은 상호 교환 관계가 밝혀졌다: 하나의 전략은 작은 k에 최적이고, 다른 하나는 큰 k에 최적이며, 최적의 선택은 기대 결과 수에 따라 달라진다.
• 이 프레임워크는 비순환 쿼리와 순환 쿼리 모두를 지원하며, ρ* = 2인 쿼리(예: 4-사이클)를 포함하여 모든 경우에 최적성을 유지한다.
• 요약 표현의 사전 처리 단계는 O(n) 시간에 수행되며, 열거 과정은 로그 시간 지연으로 진행되어 결과 스트리밍을 효율적으로 지원한다.