[论文解读] On Graph Deltas for Historical Queries

Georgia Koloniari, Dimitris Souravlias+1 more|arXiv (Cornell University)|Feb 22, 2013

Graph Theory and Algorithms参考文献 13被引用 35

一句话总结

本文提出一种图增量模型，仅存储当前图快照和带有时间标注的结构变更日志（节点与边的增删操作），从而实现对历史图状态的高效重建，以支持历史查询。通过利用基于增量的查询计划、部分重建及索引技术，该方法相比完整快照重建显著降低了查询评估成本，尤其在节点为中心的查询中优势明显。

ABSTRACT

In this paper, we address the problem of evaluating historical queries on graphs. To this end, we investigate the use of graph deltas, i.e., a log of time-annotated graph operations. Our storage model maintains the current graph snapshot and the delta. We reconstruct past snapshots by applying appropriate parts of the graph delta on the current snapshot. Query evaluation proceeds on the reconstructed snapshots but we also propose algorithms based mostly on deltas for efficiency. We introduce various techniques for improving performance, including materializing intermediate snapshots, partial reconstruction and indexing deltas.

研究动机与目标

• 为高效评估大规模动态演化图上的历史查询提供解决方案。
• 通过仅维护当前快照和时间标注的图操作增量，降低存储与查询成本。
• 在不存储所有历史快照的前提下，实现对过去图状态的高效重建。
• 通过基于增量的和部分重建技术，最小化完整快照重建，从而优化查询评估。
• 通过在增量上建立索引并物化中间快照，提升性能。

提出的方法

• 使用带时间标注的图增量建模图演化，其操作包括 addNode、addEdge、remNode 和 remEdge。
• 通过按时间顺序对当前快照应用相关增量操作，重建过去的图快照。
• 提出两阶段查询计划：首先重建所需快照，然后在重建的图上评估查询。
• 引入仅增量或以增量为主的查询计划，在可能时避免完整重建。
• 应用部分快照重建，仅构建与查询相关的子图，从而提升节点为中心查询的效率。
• 使用基于节点的索引对增量操作进行索引，以加速查找并减少重建时间。

实验结果

研究问题

• RQ1 如何在不存储所有历史快照的前提下，高效评估历史图查询？
• RQ2 哪些技术可最小化从增量日志重建过去图状态的成本？
• RQ3 在何种场景下，可直接在增量上执行查询评估，而非在重建的快照上？
• RQ4 部分重建如何提升节点为中心查询的性能？
• RQ5 对增量采用的索引策略对查询评估效率有何影响？

主要发现

• 两阶段方法（先重建快照再评估查询）因在 Neo4j 等系统中存在事务性 I/O 开销，导致成本较高。
• 在增量文件上使用基于节点的索引，可显著提升两阶段和混合查询方法的性能。
• 部分重建通过仅构建查询评估所需的子图，降低了查询成本，尤其对节点为中心的查询更为有利。
• 物化中间快照可提升频繁访问的历史状态的性能，减少重复应用增量操作的开销。
• 基于增量的查询计划避免了完整重建，相比完整快照重建更具效率，尤其在较近的时间点表现更优。
• 在合成数据上的实验评估表明，查询执行时间随快照年龄增加而上升，因为需应用更多操作来重建较老的状态。