[논문 리뷰] Any-k Algorithms for Enumerating Ranked Answers to Conjunctive Queries

Nikolaos Tziavelis, Wolfgang Gatterbauer외 1명|arXiv (Cornell University)|2022. 05. 11.

Data Management and Algorithms인용 수 7

한 줄 요약

이 논문은 완전한 재물성화를 피하기 위해 순서 기반 함수—예를 들어 합산 가중치—를 조인 계산에 통합함으로써 조건부 쿼리(CQs)에 대한 순위 기반 답변을 효율적으로 열거하기 위한 새로운 'any-k' 알고리즘을 제안한다. 이 방법은 데이터 복잡도에서 O(n + k log k)의 시간 복잡도를 달성하며, 이는 이론적 하한선에 로그 인자까지 근접한다. 실질적으로 전통적인 '조인-그룹' 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We study ranked enumeration for Conjunctive Queries (CQs) where the answers are ordered by a given ranking function (e.g., an ORDER BY clause in SQL). We develop "any-k" algorithms, which, without knowing the number k of desired answers, push down the ranking into joins by carefully ordering the computation of intermediate tuples and avoiding materialization of join answers until they are needed. For this to be possible, the ranking function needs to obey a particular type of monotonicity. Supported ranking functions include the common sum-of-weights, where answers are compared by the sum of input-tuple weights, as well as any commutative selective dioid. Our results extend a well-known unranked-enumeration dichotomy, which states that only free-connex CQs are tractable (under certain hardness hypotheses and for CQs without self-joins). For this class of queries and with n denoting the size of the input, the data complexity of our ranked enumeration approach for the time to the kth CQ answer is O(n+klogk), which is only a logarithmic factor slower than the O(n+k) unranked-enumeration guarantee. A core insight of our work is that ranked enumeration for CQs is closely related to Dynamic Programming and the fundamental task of path enumeration in a weighted DAG. We uncover a previously unknown tradeoff: one any-k algorithm has lower complexity when the number of returned answers is small, the other when their number is large. This tradeoff is eliminated under a stricter monotonicity property that we define and exploit for a novel algorithm that asymptotically dominates all previously known alternatives, including Eppstein's algorithm for sum-of-weights path enumeration. We empirically demonstrate the findings of our theoretical analysis in an experimental study that highlights the superiority of our approach over the join-then-rank approach that existing database systems follow.

연구 동기 및 목표

• 모든 답변을 사전에 재물성화한 후 정렬하는 전통적인 '조인-그룹' 접근 방식이 데이터베이스 시스템에서 성능 저하를 일으키는 문제를 해결하기 위해.
• 사전에 k값(필요한 결과의 수)을 알지 못하더라도 순위 순으로 답변을 반환할 수 있는 효율적인, 언제나 가능한 알고리즘을 개발하기 위해.
• 비순위 기반 열거의 이분법을 순위 기반 열거로 확장하여 효율적인 순위 기반 열거가 가능한 조건을 규명하기 위해.
• 교환 법칙이 적용되는 선택적 이oids 기반의 단일 프레임워크에 기반해 기존의 k-최단 경로, 순위 기반 검색, 동적 프로그래밍 연구를 통합하고 일반화하기 위해.
• 실증 평가를 통해 제안된 접근 방식이 기존 데이터베이스 시스템보다 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 부분 집합 단조성(s-monotonicity)을 도입하여 효율적인 순위 기반 열거를 보장하는 충분 조건으로 삼으며, 이는 부분 해가 순위 순서를 유지하는 방식으로 확장될 수 있음을 보장한다.
• 교환 법칙이 적용되는 선택적 이oids의 대수적 구조를 활용하여 순위 함수를 모델링함으로써, CQs에 동적 프로그래밍 원리를 적용할 수 있도록 한다.
• 두 가지 핵심 알고리즘을 설계한다: REA에 영향을 받은 기법을 사용한 재귀적 편차 열거 기반 anyK-rec, 그리고 k-최단 경로에 대한 Lawler-Murty 절차 기반 anyK-part.
• 기존 방법, 특히 Eppstein의 알고리즘을 초월하는 점근적 성능을 보이는 새로운 알고리즘인 anyK-part+를 개발하며, 복잡도에서 ℓ 경로 길이에 대한 의존성을 제거한다.
• 순환하지 않는 CQs와 자유 연결 CQs에 프레임워크를 적용하고, 분해를 통해 순환 CQs로 확장하며, 반복 구조가 있는 반복 프로그래밍 문제에 일반화한다.
• 기존의 '조인-그룹' 전략과 비교하여 알고리즘의 실증 평가를 수행하며, 특히 k가 작을 경우에 뚜렷한 성능 향상을 보였다.

실험 결과

연구 질문

• RQ1 모든 중간 결과를 재물성화하지 않고도 조건부 쿼리에 대한 순위 기반 열거를 효율적으로 수행할 수 있는가?
• RQ2 순위 기반 열거를 효율적으로 수행할 수 있도록 하는 순위 함수의 대수적 및 구조적 성질은 무엇인가?
• RQ3 순위 기반 열거의 복잡도는 비순위 기반 열거와 비교해 어떻게 되며, 거의 최적의 성능를 달성할 수 있는가?
• RQ4 기존의 k-최단 경로 알고리즘은 일반적인 조건부 쿼리와 임의의 순위 함수를 다룰 수 있도록 일반화되고 개선될 수 있는가?
• RQ5 순위 기반 열거, 동적 프로그래밍, 가중 방향 비순환 그래프에서의 경로 열거를 연결하는 통합 프레임워크가 존재하는가?

주요 결과

• 제안된 anyK-part+ 알고리즘은 데이터 복잡도에서 O(n + k log k)의 시간 복잡도를 달성하며, 이는 로그 인자까지 근접하는 점근적 최적성이다.
• 이 프레임워크는 합산 가중치 및 임의의 교환 법칙이 적용되는 선택적 이oids를 포함한 광범위한 순위 함수 클래스를 지원하며, 단순 집계를 넘어서 일반화할 수 있다.
• 특히 k가 작을 경우에 빠른 가지치기와 전체 결과 재물성화를 피하기 때문에, 전통적인 '조인-그룹' 방법보다 실질적으로 뛰어난 성능을 보인다.
• 부분 집합 단조성은 효율적인 순위 기반 열거를 위한 핵심 충분 조건으로 규명되었으며, 교환 법칙이 적용되는 선택적 이oids의 대수적 구조와도 호환됨을 입증하였다.
• 이 연구는 조건부 쿼리의 순위 기반 열거, 동적 프로그래밍, k-최단 경로 간의 이론적 기반을 구축하여, 이전에 분리되어 있던 연구 분야를 통합하였다.
• 이 접근 방식은 DNA 서열 정렬, 비터비 디코딩 등과 같은 문제로 일반화되며, 관계형 데이터베이스를 넘어서도 넓은 적용 가능성을 보였다.