[論文レビュー] Monotonic Properties of Completed Aggregates in Recursive Queries

Carlo Zaniolo, Ariyam Das+4 more|arXiv (Cornell University)|Oct 20, 2019

Logic, Reasoning, and Knowledge参考文献 22被引用数 6

ひとこと要約

本論文は、固定基数のデータセットにおける集合的関数を伴う再帰的 Datalog プログラムの形式的意味論を提案し、最小値、最大値、カウントなどの単調な集合的関数が不動点収束を保ち、半ナード的評価により効率的でスケーラブルな実行を可能にすることを示している。主な貢献は、集合的関数の完成を後置制約として扱う分層的意味論を提供することであり、これにより非単調性の問題を回避しつつ、既存の最適化技術を適用可能にする。

ABSTRACT

The use of aggregates in recursion enables efficient and scalable support for a wide range of BigData algorithms, including those used in graph applications, KDD applications, and ML applications, which have proven difficult to be expressed and supported efficiently in BigData systems supporting Datalog or SQL. The problem with these languages and systems is that, to avoid the semantic and computational issues created by non-monotonic constructs in recursion, they only allow programs that are stratified with respect to negation and aggregates. Now, while this crippling restriction is well-justified for negation, it is frequently unjustified for aggregates, since (i) aggregates are often monotonic in the standard lattice of set-containment, (ii) the PreM property guarantees that programs with extrema in recursion are equivalent to stratified programs where extrema are used as post-constraints, and (iii) any program computing any aggregates on sets of facts of predictable cardinality tantamounts to stratified programs where the precomputation of the cardinality of the set is followed by a stratum where recursive rules only use monotonic constructs. With (i) and (ii) covered in previous papers, this paper focuses on (iii) using examples of great practical interest. For such examples, we provide a formal semantics that is conducive to efficient and scalable implementations via well-known techniques such as semi-naive fixpoint currently supported by most Datalog and SQL3 systems.

研究の動機と目的

• 再帰と集合的関数を含む複雑な大規模データワークロードにおける Datalog や SQL の分層的意味論の限界を解消すること。
• 固定基数のデータセットにおける集合的関数が集合包含ラティスにおいて単調であることを示し、効率的で正しい再帰的計算を可能にすること。
• 極値（最小値、最大値）およびカウントを用いた再帰的プログラムが、後置制約を伴う同値な分層的プログラムに変換可能であり、非単調性の問題を回避できることを示すこと。
• 半ナード的不動点や制約プッシュといった標準的な最適化技術を用いて、効率的でスケーラブルな実装を可能にすること。
• Pre-Mappability 性質を活用することで、形式的な非単調な意味論と高性能な大規模データシステムのギャップを埋めること。

提案手法

• Pre-Mappability 性質を用いて、固定基数の集合における再帰的 Datalog プログラムの集合的関数を伴う形式的意味論を定義する。
• プログラムを三つの層に構造化する：(i) 値のカウントまたは事前計算のためのボトム層、(ii) 単調な Horn 規則のためのミドル層、(iii) 極値を用いた後選択のためのトップ層。
• ミドル層の単調部分に対して半ナード的不動点計算を適用し、効率的でスケーラブルな評価を実現する。
• 再帰的ステップにおける本体演算子の完成をシステムレベルで検出することで、最終結果の抽出をトリガーし、不要な計算を排除する。
• マーカフ連鎖やロイドクラスタリングといった実世界のアルゴリズムに本手法を適用し、集合的関数の被演算子が固定サイズの集合であることを示す。
• 符号化/復号化関数（例：encd, decd）を用いて、再帰的規則内での多次元値の効率的表現を実現する。

実験結果

リサーチクエスチョン

• RQ1 基礎となるデータセットが固定で予測可能である場合、再帰的 Datalog プログラムにおける集合的関数を安全に使用できるか？
• RQ2 最小値、最大値、カウントのような単調な集合的関数を、非単調性を引き起こさずに再帰的プログラムで意味的に正当化できるか？
• RQ3 集合的関数を用いた再帰的プログラムを、後置制約を伴う同値な分層的プログラムに変換できるか、正しさを保ちつつ最適化を可能にするか？
• RQ4 半ナード的不動点や制約プッシュといった既存の最適化技術が、集合的関数を多く含む再帰的クエリにどの程度適用可能か？
• RQ5 Pre-Mappability 性質を用いて、大規模データワークロードにおける形式的意味論と性能スケーラビリティの両方を達成できるか？

主な発見

• 固定基数のデータセットにおける最小値、最大値、カウントといった集合的関数は、標準的な集合包含ラティスにおいて単調であり、安全な再帰的使用が可能である。
• 極値を用いた再帰的プログラムは、集合的関数を後置制約として適用する分層的プログラムと意味的に同等であり、非単調性を回避できる。
• 集合的関数計算の完成は、Δ 変化のシステムレベル監視により検出可能であり、効率的な終了処理と結果抽出を可能にする。
• マーカフ連鎖やロイドクラスタリングにおいて、各集合的関数が処理する要素数は再帰的ステップ全体で一定であり、事前に計算可能である。
• 単調なミドル層に対して半ナード的不動点を適用することで、不要な中間原子を排除することでメモリと計算量が削減され、効率的でスケーラブルな実行が保証される。
• Pre-Mappability 性質を活用することで、データスケイムの影響を補償し、並列アーキテクチャ上でも高性能な実行が可能になる。