[論文レビュー] Optimal Algorithms for Ranked Enumeration of Answers to Full Conjunctive Queries

Nikolaos Tziavelis, Deepak Ajwani+3 more|arXiv (Cornell University)|Nov 13, 2019

Optimization and Search Problems参考文献 101被引用数 7

ひとこと要約

この論文は、選択的ディオイドを用いて動的計画法の問題を一般化することで、巡回的なものを含む完全な結合的問い合わせ（CQ）の順序付き列挙の最適アルゴリズムを提示する。k短経路アルゴリズムを拡張し、データ複雑性下で最初の結果を得るまでの時間と、その後の結果間の遅延を最適化する。バッチ処理法ですら、すべての結果を生成する場合でさえも、理論的・実験的両面で優れている。多様な問い合わせタイプにおいて、その有効性が検証された。

ABSTRACT

We study ranked enumeration of join-query results according to very general orders defined by selective dioids. Our main contribution is a framework for ranked enumeration over a class of dynamic programming problems that generalizes seemingly different problems that had been studied in isolation. To this end, we extend classic algorithms that find the k-shortest paths in a weighted graph. For full conjunctive queries, including cyclic ones, our approach is optimal in terms of the time to return the top result and the delay between results. These optimality properties are derived for the widely used notion of data complexity, which treats query size as a constant. By performing a careful cost analysis, we are able to uncover a previously unknown tradeoff between two incomparable enumeration approaches: one has lower complexity when the number of returned results is small, the other when the number is very large. We theoretically and empirically demonstrate the superiority of our techniques over batch algorithms, which produce the full result and then sort it. Our technique is not only faster for returning the first few results, but on some inputs beats the batch algorithm even when all results are produced.

研究の動機と目的

• 完全な結合的問い合わせ、特に巡回的なものに対する効率的な順序付き列挙の未解決問題に取り組むこと。ここでの目的は、与えられた順位関数に従って結果を順に返すことである。
• 選択的ディオイドと動的計画法に基づく単一の理論的枠組みで、散在する順序付き問い合わせ評価手法を統合すること。
• クエリサイズを定数とみなすデータ複雑性下で最適性を達成すること。具体的には、最初の結果を得るまでの時間と、その後の結果間の遅延を両方最小化すること。
• kが小さい場合に最適な戦略とkが大きい場合に最適な戦略との間のトレードオフを解消し、それらの漸近的挙動を形式的に特徴付けること。
• 全結果を生成する場合でも、全結合＋ソートのバッチアルゴリズムを上回ることを示し、性能向上を実証すること。

提案手法

• フレームワークは、順位の意味論を定義する選択的ディオイドを用いて、古典的なk短経路アルゴリズムを完全な結合的問い合わせに拡張する。
• 辞書式順序を尊重し、表現の肥大化を最小限に抑える、木に基づくクエリプランの要因分解を導入。線形時間の再構成手順を用いる。
• 優先度付きキューを用いた動的計画法により、順位順に結果を列挙。最適な遅延と最初の結果取得時間の両方を維持。
• 2つの列挙戦略（早期刈込に基づくものと、効率的な中間結果伝搬に基づくもの）の間のトレードオフを形式化。計算量は結果数kに依存する。
• 非巡回的および巡回的CQの両方をサポート。RAMモデルにおける分数的エッジカバー解析とコストモデリングにより最適性を証明。
• 事前処理段階で、コンパクトで辞書式順序に整列された要因分解表現を計算し、対数的遅延で効率的な列挙を可能にする。

実験結果

リサーチクエスチョン

• RQ1 データ複雑性下で、最初の結果を得るまでの時間が最適で、結果間の遅延が最小となるような、完全な結合的問い合わせの順序付き列挙アルゴリズムを設計できるか？
• RQ2 kが小さい場合に最適な戦略とkが大きい場合に最適な戦略の間の漸近的比較は？ それらのトレードオフを形式的に特徴づけられるか？
• RQ3 たとえばトップ-kジョインや部分グラフパターンの順位付けなど、見た目は異なる順位付き問い合わせ評価手法を、単一の理論的枠組みで統合できるか？
• RQ4 バッチアルゴリズム（全結合＋ソート）の性能を、トップ-kにとどまらず、全結果列挙に対しても上回ることは可能か？
• RQ5 既存の最適ジョインアルゴリズムを、同じ最適性保証を得られる順序付き列挙に対応させる拡張は可能か？

主な発見

• 4サイクルクエリにおいて、トップランクの結果がO(n^{1.5})時間で返却され、ボーレアン版の最良既知の境界と一致する。トップ-k問題は直観的により難しいと思われるが、本アルゴリズムはその境界を達成している。
• 完全な結合的問い合わせにおいて、最適な最初の結果取得時間（TTF）と最適な結果間遅延（TTL）を達成。TTFはボーレアンクエリの最良既知の境界と一致する。
• 全結果が必要な場合でも、バッチアルゴリズムを上回ることを示した。これは、インクリメンタルな列挙が、特定の入力では全物化とソートよりも高速であることを示している。
• 以前未知であったトレードオフが明らかになった：1つのアプローチはkが小さい場合に最適で、もう1つはkが大きい場合に最適。最適な選択は、期待される結果数に依存する。
• フレームワークは非巡回的および巡回的クエリの両方をサポート。分数的エッジカバー数ρ* = 2（例：4サイクル）のクエリも含み、すべてのケースで最適性を維持。
• 要因分解表現の事前処理ステップはO(n)時間で実行され、列挙は対数的遅延で行われ、結果の効率的なストリーミングが可能になる。