[论文解读] Efficiently Charting RDF

Oren Kalinsky, Oren Mishali+3 more|arXiv (Cornell University)|Nov 27, 2018

Data Quality and Management参考文献 72被引用 3

一句话总结

该论文提出 Audit Join，一种新颖的在线聚合算法，结合了 Wander Join 的随机游走机制与 Cache Trie Join 的精确部分计算，以加速大规模 RDF 知识图谱的交互式可视化。该算法引入了一种无偏估计器用于唯一计数，并在多个知识图谱上显著降低了误差，相较于 Wander Join 实现了更低的误差率，支持近实时的柱状图探索，收敛时间小于一分钟，平均误差低于 1%。

ABSTRACT

We propose a visual query language for interactively exploring large-scale knowledge graphs. Starting from an overview, the user explores bar charts through three interactions: class expansion, property expansion, and subject/object expansion. A major challenge faced is performance: a state-of-the-art SPARQL engine may require tens of minutes to compute the multiway join, grouping and counting required to render a bar chart. A promising alternative is to apply approximation through online aggregation, trading precision for performance. However, state-of-the-art online aggregation algorithms such as Wander Join have two limitations for our exploration scenario: (1) a high number of rejected paths slows the convergence of the count estimations, and (2) no unbiased estimator exists for counts under the distinct operator. We thus devise a specialized algorithm for online aggregation that augments Wander Join with exact partial computations to reduce the number of rejected paths encountered, as well as a novel estimator that we prove to be unbiased in the case of the distinct operator. In an experimental study with random interactions exploring two large-scale knowledge graphs, our algorithm shows a clear reduction in error with respect to computation time versus Wander Join.

研究动机与目标

• 通过基于施奈德曼的“概览优先、缩放与过滤、随后按需查看详情”原则的可视化查询语言，实现实时、交互式的大规模 RDF 知识图谱探索。
• 解决在大规模知识图谱上通过 SPARQL 查询生成柱状图时的性能瓶颈问题，因为精确计算需要数分钟至数小时。
• 设计一种在线聚合算法，与当前最先进的方法（如 Wander Join）相比，能显著降低估计误差，尤其在高选择性和唯一聚合场景下。
• 为在 DISTINCT 操作符下的计数聚合开发一种无偏估计器，这对于知识图谱探索中的准确可视化至关重要。
• 在在线聚合过程中选择性地集成精确计算（通过 Cache Trie Join 实现），以在不牺牲性能的前提下提升收敛速度和准确性。

提出的方法

• Audit Join 将 Wander Join 的随机游走机制与 Cache Trie Join 算法的精确计算相结合，以减少被拒绝路径的数量并提升收敛速度。
• 在每一步中，算法估计选择性，并在估计成本较低时，将路径从随机游走切换为对剩余后缀空间的精确计算。
• 提出一种新颖且可证明无偏的估计器，用于 DISTINCT 操作符下的计数聚合，解决了现有在线聚合方法的关键局限。
• 算法在执行过程中动态更新估计器，确保估计值的期望等于真实计数，即使在唯一聚合场景下也成立。
• 该框架支持三种用户交互操作——类别扩展、属性扩展和主体/对象扩展——每种操作均在交互式探索流水线中生成新的柱状图。
• 系统使用在 DBpedia 和 LinkedGeoData 上随机生成的探索查询进行评估，将误差与计算时间与 Wander Join 和精确执行进行对比。

实验结果

研究问题

• RQ1 与纯在线聚合相比，通过选择性精确计算的在线聚合是否能降低 RDF 柱状图可视化中的估计误差？
• RQ2 所提出的唯一计数无偏估计器是否能提升知识图谱探索工作负载中的准确性？
• RQ3 通过 Cache Trie Join 集成精确部分计算，对交互式 RDF 探索中的收敛速度和误差降低有何影响？
• RQ4 在不同探索深度和知识图谱规模下，Audit Join 相较于 Wander Join 在误差降低和运行时效率方面表现如何？
• RQ5 Audit Join 的性能优势是否在多样化的知识图谱中保持一致，包括高选择性和重复数据丰富的查询？

主要发现

• 与 Wander Join 相比，Audit Join 将估计误差降低了整整一个数量级以上，在大多数情况下平均误差低于 1%，且收敛时间小于一分钟。
• 该算法的收敛速度显著快于纯在线聚合（Wander Join）和精确执行（Virtuoso 和 Cache Trie Join），使得交互式探索成为可能。
• 在非唯一计数场景下，Audit Join 仍大幅优于 Wander Join，表明部分精确计算的优势不仅限于 DISTINCT 操作符。
• Wander Join 中被拒绝的路径数量随查询选择性和复杂度的增加而上升，导致收敛变慢；Audit Join 通过用精确计算替换高拒绝率段落，有效缓解了该问题。
• 随着探索步骤的增加，Audit Join 相较于 Wander Join 的相对性能优势持续扩大，表明在更深层次、更复杂的查询中优势更加显著。
• 通过 Cache Trie Join 实现的精确计算将运行时间从数小时（Virtuoso）缩短至数十秒，但仍然无法支持交互式使用；而采用 Audit Join 的在线聚合有效弥合了这一差距。