[论文解读] Towards Scalable Visual Exploration of Very Large RDF Graphs

Nikos Bikakis, John Liagouris+3 more|arXiv (Cornell University)|Jan 1, 2015

Data Visualization and Analytics参考文献 20被引用 4

一句话总结

本文提出 graphVizdb，一种基于磁盘的可扩展平台，用于大规模RDF图的可视化。它采用基于划分的布局策略，并结合节点坐标的R树索引，以支持高效的时空查询（例如窗口查询），从而实现实时渲染仅可见的图区域，显著降低了导航和探索过程中的布局与通信开销。

ABSTRACT

In this paper, we outline our work on developing a disk-based infrastructure for efficient visualization and graph exploration operations over very large graphs. The proposed platform, called graphVizdb, is based on a novel technique for indexing and storing the graph. Particularly, the graph layout is indexed with a spatial data structure, i.e., an R-tree, and stored in a database. In runtime, user operations are translated into efficient spatial operations (i.e., window queries) in the backend.

研究动机与目标

• 解决大规模RDF图（例如包含300M+个节点/边的Wikidata）超出主内存容量时的可视化挑战。
• 克服传统基于内存的可视化工具在每次交互时需完整加载并重新布局整个图所导致的性能瓶颈。
• 通过后端空间查询优化，实现对大型密集RDF图的高效、实时导航与交互。
• 通过预先计算并持久化图坐标到带空间索引的数据库中，将布局计算与渲染解耦。
• 提供一种通用的、与数据集无关的解决方案，不依赖于图结构的层次化或基于聚类的假设。

提出的方法

• 使用图划分算法将输入的RDF图划分为更小的子图，以减轻布局过程中的内存压力。
• 对每个子图独立应用标准图布局算法，在布局过程中排除子图间的（交叉）边，以提升性能。
• 使用贪心算法将可视化后的子图排列并合并到全局坐标平面中，以最小化重叠和总交叉边长度。
• 使用R树空间索引对最终的节点和边坐标进行索引，并将结果存储在关系型数据库（MySQL）中，以支持高效的时空查询评估。
• 将用户交互（例如缩放、平移）转换为对R树索引的窗口查询，仅从数据库中检索可见的图组件。
• 使用轻量级JavaScript库（mxgraph）在客户端仅渲染检索到的图片段，最大限度减少前端渲染与通信开销。

实验结果

研究问题

• RQ1 当大规模RDF图超出主内存容量时，如何实现高效的可视化？
• RQ2 空间索引技术能否有效应用于加速大规模图可视化中的导航与渲染？
• RQ3 基于划分的布局策略在不损害视觉连贯性的前提下，能在多大程度上减少布局时间和内存使用？
• RQ4 对空间索引的图坐标执行窗口查询，能否实现对大规模RDF图的实时、交互式探索？
• RQ5 如何使一种通用的、非层次化的图可视化方法在多样化RDF数据集上实现可扩展性与高效性？

主要发现

• 使用R树索引的坐标可实现通过空间窗口查询高效检索仅可见的图区域，大幅减少后端与前端的数据传输量。
• 通过预先计算并持久化布局，系统避免了在导航过程中重新计算布局，从而实现低延迟交互。
• 基于划分的布局策略通过将布局操作限制在更小、更易管理的子图上，实现了大规模图的可扩展处理。
• 该系统支持交互式导航、多级探索与关键词搜索，展示了其在真实世界RDF数据集中的实际可用性。
• 基于MySQL、Jena、Metis、Graphviz与mxgraph的原型实现，验证了所提出架构的可行性与性能优势。