[論文レビュー] Any-k Algorithms for Enumerating Ranked Answers to Conjunctive Queries

Nikolaos Tziavelis, Wolfgang Gatterbauer+1 more|arXiv (Cornell University)|May 11, 2022

Data Management and Algorithms被引用数 7

ひとこと要約

本稿では、結合計算に順序関数（例：重みの和）を統合することで、完全な物化を回避し、結合問い合わせ（CQs）の順序付き答えを効率的に列挙する新しい「any-k」アルゴリズムを導入する。このアプローチは、データ複雑度においてO(n + k log k)の時間計算量を達成し、対数的要因を除いて理論的下界に一致する。実践的にも、従来の「結合後に順序付け」手法を上回る性能を発揮する。

ABSTRACT

We study ranked enumeration for Conjunctive Queries (CQs) where the answers are ordered by a given ranking function (e.g., an ORDER BY clause in SQL). We develop "any-k" algorithms, which, without knowing the number k of desired answers, push down the ranking into joins by carefully ordering the computation of intermediate tuples and avoiding materialization of join answers until they are needed. For this to be possible, the ranking function needs to obey a particular type of monotonicity. Supported ranking functions include the common sum-of-weights, where answers are compared by the sum of input-tuple weights, as well as any commutative selective dioid. Our results extend a well-known unranked-enumeration dichotomy, which states that only free-connex CQs are tractable (under certain hardness hypotheses and for CQs without self-joins). For this class of queries and with n denoting the size of the input, the data complexity of our ranked enumeration approach for the time to the kth CQ answer is O(n+klogk), which is only a logarithmic factor slower than the O(n+k) unranked-enumeration guarantee. A core insight of our work is that ranked enumeration for CQs is closely related to Dynamic Programming and the fundamental task of path enumeration in a weighted DAG. We uncover a previously unknown tradeoff: one any-k algorithm has lower complexity when the number of returned answers is small, the other when their number is large. This tradeoff is eliminated under a stricter monotonicity property that we define and exploit for a novel algorithm that asymptotically dominates all previously known alternatives, including Eppstein's algorithm for sum-of-weights path enumeration. We empirically demonstrate the findings of our theoretical analysis in an experimental study that highlights the superiority of our approach over the join-then-rank approach that existing database systems follow.

研究の動機と目的

• すべての答えを事前に物化してからソートする従来の「結合後に順序付け」手法がデータベースシステムで性能ボトルネックを引き起こす問題に対処すること。
• k（必要な結果の数）を事前に知らない状態でも、順序付きで答えを返す効率的で、いつでも停止可能なアルゴリズムを開発すること。
• 未順序付け列挙の二分岐を順序付け列挙へと拡張し、効率的な順序付け列挙が可能な条件を同定すること。
• 可換選択的デイオイドに基づく一貫したフレームワークの下で、k番目の最短経路、順序付き検索、動的計画法の先行研究を統合・一般化すること。
• 実験的評価を通じて、既存のデータベースシステムと比較して本手法の優位性を示すこと。

提案手法

• 部分解が順序を保つ形で拡張可能であることを保証するための十分条件として、部分集合単調性（s-monotonicity）を導入する。
• 可換選択的デイオイドの代数的構造を活用して順序関数をモデル化し、CQsに動的計画法の原則を適用可能にする。
• 2つのコアアルゴリズムを設計：REAdにインspiredされた、偏差の再帰的列挙に基づくanyK-rec、およびk番目の最短経路のLawler-Murty手順に基づくanyK-part。
• anyK-part+を新たに開発し、Eppsteinのアルゴリズムを含む従来手法を漸近的に上回る。特に、複雑度におけるℓ（経路長）依存性を排除することで実現する。
• アセニックおよびフリー・コンヌクシブCQsにこのフレームワークを適用し、分解を用いて循環的CQsへと拡張。半環構造を持つ動的計画法で解ける任意の問題へ一般化可能。
• 従来の「結合後に順序付け」戦略と比較して、実験的にアルゴリズムの性能を評価し、特にkが小さい場合に顕著な性能向上を示した。

実験結果

リサーチクエスチョン

• RQ1 結合問い合わせの順序付け列挙を、すべての中間結果を物化しないで効率的に行うことは可能か？
• RQ2 順序付け列挙を効率的に行うために必要な、順序関数の代数的および構造的性質は何か？
• RQ3 順序付け列挙の複雑度は未順序付け列挙と比べてどう異なるのか？近似的に最適な性能を達成できるか？
• RQ4 既存のk番目の最短経路アルゴリズムを一般化し、任意の順序関数を持つ一般結合問い合わせを処理できるように改善できるか？
• RQ5 結合問い合わせの順序付け列挙、動的計画法、重み付きDAGにおける経路列挙を統合する統一フレームワークは存在するか？

主な発見

• 提案されたanyK-part+アルゴリズムは、データ複雑度においてO(n + k log k)の時間計算量を達成し、対数的要因を除いて漸近的に最適である。
• このフレームワークは、重みの和や任意の可換選択的デイオイドを含む広範な順序関数クラスをサポートし、単純な集計を超えた一般化を可能にする。
• kが小さい場合に特に顕著に、完全な結果物化を回避し、早期の刈り込みを実現することで、従来の「結合後に順序付け」手法を実践的に上回る性能を発揮する。
• 部分集合単調性は、効率的順序付け列挙のための重要な十分条件であることが同定され、可換選択的デイオイドの代数的構造とも整合することが示された。
• 本研究は、結合問い合わせの順序付け列挙と動的計画法、k番目の最短経路の理論的基盤を結びつけるものであり、かつて孤立していた研究分野を統合した。
• 本手法は、DNA配列アラインメントやViterbiデコードなどの問題へも一般化可能であり、リレーショナルデータベースを越えた広範な適用可能性を示した。