[论文解读] FAQ: Questions Asked Frequently

Mahmoud Abo Khamis, Hung Q. Ngo+1 more|arXiv (Cornell University)|Apr 15, 2015

Constraint Satisfaction and Optimization参考文献 81被引用 13

一句话总结

本文提出了功能聚集查询（FAQ）框架，这是一个统一建模数据库、约束满足和概率推理等多样化问题的框架。它提出了InsideOut算法，一种基于变量消去的方法，通过分数边覆盖和一种新颖的变量排序策略优化，最小化‘分数FAQ宽度’，从而在一大类查询中实现最坏情况下的最优性能。

ABSTRACT

We define and study the Functional Aggregate Query (FAQ) problem, which encompasses many frequently asked questions in constraint satisfaction, databases, matrix operations, probabilistic graphical models and logic. This is our main conceptual contribution. We then present a simple algorithm called "InsideOut" to solve this general problem. InsideOut is a variation of the traditional dynamic programming approach for constraint programming based on variable elimination. Our variation adds a couple of simple twists to basic variable elimination in order to deal with the generality of FAQ, to take full advantage of Grohe and Marx's fractional edge cover framework, and of the analysis of recent worst-case optimal relational join algorithms. As is the case with constraint programming and graphical model inference, to make InsideOut run efficiently we need to solve an optimization problem to compute an appropriate 'variable ordering'. The main technical contribution of this work is a precise characterization of when a variable ordering is 'semantically equivalent' to the variable ordering given by the input FAQ expression. Then, we design an approximation algorithm to find an equivalent variable ordering that has the best 'fractional FAQ-width'. Our results imply a host of known and a few new results in graphical model inference, matrix operations, relational joins, and logic. We also briefly explain how recent algorithms on beyond worst-case analysis for joins and those for solving SAT and #SAT can be viewed as variable elimination to solve FAQ over compactly represented input functions.

研究动机与目标

• 将矩阵乘法、概率推理和选择性查询等多样化计算问题统一在一个代数框架下。
• 开发一种通用算法InsideOut，高效解决数据库、人工智能和约束系统等多个领域中的功能聚集查询（FAQ）问题。
• 刻画语义等价的变量排序，并设计一种近似算法以最小化分数FAQ宽度，实现最优性能。

提出的方法

• 将FAQ问题定义为对变量的广义聚合，输入函数和聚合算子（例如求和、最大值、乘积）作用于绑定变量。
• 提出InsideOut算法，一种变量消去的动态规划变体，利用分数边覆盖框架提升效率。
• 使用Grohe和Marx的分数边覆盖来界定FAQ查询的复杂度，并指导变量排序。
• 提出一个新颖的优化问题，以寻找最小化分数FAQ宽度的变量排序，同时保持语义等价性。
• 应用AGM界及其推广形式来估计输出大小，并在存在函数性及未物化谓词的情况下指导成本估算。
• 将该算法集成到LogicBlox等真实系统中，展示了相较于传统数据处理流水线的显著性能提升。

实验结果

研究问题

• RQ1 能否通过单一查询模型统一数据库、人工智能和约束满足中的多样化问题？
• RQ2 如何将变量消去方法适配以处理功能聚集和混合环算子的全部通用性？
• RQ3 在何种精确条件下，变量排序与输入FAQ表达式的语义等价？
• RQ4 能否高效近似分数FAQ宽度，以指导最优查询执行？
• RQ5 如何使该算法对复杂谓词（例如a+b=c）具有鲁棒性，这些谓词的大小不固定？

主要发现

• InsideOut算法通过利用分数边覆盖框架和最优变量排序，在FAQ查询中实现了最坏情况下的最优性能。
• 本文精确刻画了语义等价的变量排序，使查询执行计划的高效优化成为可能。
• 分数FAQ宽度被证明是查询复杂度的紧致度量，其界推广了AGM界，可包含函数性和未物化谓词。
• 开发了一种近似算法，用于寻找分数FAQ宽度最小的变量排序，该问题精确计算为NP难。
• 在LogicBlox数据库系统中的实验评估显示，与使用R或Python的传统数据处理流水线相比，性能提升了数个数量级。
• 该框架将关系连接、图模型和SAT/#SAT求解中的已知结果作为FAQ的特例进行推广。