[论文解读] Learning to Speed Up Query Planning in Graph Databases

Mohammad Hossein Namaki, F A Rezaur Rahman Chowdhury+3 more|arXiv (Cornell University)|Jan 21, 2018

Graph Theory and Algorithms被引用 5

一句话总结

本文提出了一种学习规划（L2P）框架，通过模仿学习学习贪心搜索策略，显著加速了图数据库中的查询规划，使STAR查询推理器在DBpedia、YAGO和Freebase知识图谱上的运行速度大幅提升，同时仅造成极小的准确率损失。

ABSTRACT

Querying graph structured data is a fundamental operation that enables important applications including knowledge graph search, social network analysis, and cyber-network security. However, the growing size of real-world data graphs poses severe challenges for graph databases to meet the response-time requirements of the applications. Planning the computational steps of query processing - Query Planning - is central to address these challenges. In this paper, we study the problem of learning to speedup query planning in graph databases towards the goal of improving the computational-efficiency of query processing via training queries.We present a Learning to Plan (L2P) framework that is applicable to a large class of query reasoners that follow the Threshold Algorithm (TA) approach. First, we define a generic search space over candidate query plans, and identify target search trajectories (query plans) corresponding to the training queries by performing an expensive search. Subsequently, we learn greedy search control knowledge to imitate the search behavior of the target query plans. We provide a concrete instantiation of our L2P framework for STAR, a state-of-the-art graph query reasoner. Our experiments on benchmark knowledge graphs including DBpedia, YAGO, and Freebase show that using the query plans generated by the learned search control knowledge, we can significantly improve the speed of STAR with negligible loss in accuracy.

研究动机与目标

• 解决因查询规划效率低下导致大规模图数据库查询响应时间过长的问题。
• 通过从训练查询中学习，提升图数据库查询处理的计算效率。
• 克服阈值算法（TA）框架的局限性，如过于保守的上界估计和静态策略。
• 开发一种可泛化的框架，适用于广泛类别的基于TA的查询推理器。
• 通过学习的搜索控制策略实现查询处理的显著加速，同时保持高准确率。

提出的方法

• 在候选查询计划上定义一个通用的搜索空间，将基于TA的计划视为贪心搜索轨迹。
• 执行计算成本较高的启发式引导束搜索，以识别用于训练查询的最优目标查询计划。
• 使用模仿学习训练一个模仿这些目标轨迹行为的贪心策略。
• 将策略表述为一个函数，将搜索状态映射到动作，使用可泛化的特征。
• 为STAR（一种先进的图查询推理器）实例化L2P框架，以支持端到端学习与推理。
• 在未见过的查询和数据图上评估学习到的策略，以评估其泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 基于学习的搜索控制能否提升图数据库中查询规划的计算效率？
• RQ2 学习到的策略在不同知识图谱和查询分布上的泛化能力如何？
• RQ3 数据图演化对学习到的查询规划策略的稳定性和性能有何影响？
• RQ4 学习到的策略在实现相比基线TA框架显著加速的同时，能将准确率保持在多高程度？
• RQ5 该框架能否在无需从头开始重新训练的情况下有效迁移到新的数据图？

主要发现

• L2P-STAR在Freebase上实现了高达55.84倍的加速，与原始STAR相比仅损失0.96%的准确率。
• 在DBpedia上，加速比达到47.71倍，准确率为96%，表明其在大规模知识图谱上表现强劲。
• 迁移学习表明，基于一个数据集训练的策略在其他数据集上也具备合理的泛化能力，且在相同数据集上进行训练和测试时准确率最高。
• 当在合并数据集上进行训练时，策略在Freebase上实现了最佳性能，表明存在跨数据集知识迁移的潜力。
• 在数据图发生10%变化（通过Forest Fire采样）的情况下，L2P-STAR保持了超过93%的准确率，并实现了更高的加速比，表明对数据演化具有鲁棒性。
• 随着图规模增大和密度提高，加速比进一步提升，证实该方法在大规模、动态演化数据环境中尤为有益。