[论文解读] Exploration and Visualization in the Web of Big Linked Data: A Survey of the State of the Art

Nikos Bikakis, Timos Sellis|arXiv (Cornell University)|Jan 29, 2016

Semantic Web and Ontologies被引用 70

一句话总结

本综述探讨了大规模链接数据的探索与可视化系统，指出可扩展性和性能是关键挑战。它评估了数据库与可视化领域最先进的方法，并分析了链接数据之网（WoD）系统，揭示了由于依赖内存处理且缺乏抽样或聚合等近似技术，现有系统在处理大规模、动态数据集方面普遍存在不足。

ABSTRACT

Data exploration and visualization systems are of great importance in the Big Data era. Exploring and visualizing very large datasets has become a major research challenge, of which scalability is a vital requirement. In this survey, we describe the major prerequisites and challenges that should be addressed by the modern exploration and visualization systems. Considering these challenges, we present how state-of-the-art approaches from the Database and Information Visualization communities attempt to handle them. Finally, we survey the systems developed by Semantic Web community in the context of the Web of Linked Data, and discuss to which extent these satisfy the contemporary requirements.

研究动机与目标

• 识别在大数据时代探索和可视化大规模、动态且异构数据集的关键挑战。
• 评估传统数据库与信息可视化系统在大规模数据探索中应对可扩展性与交互性的能力。
• 评估Web of Linked Data（WoD）系统在多大程度上满足现代对可扩展性、性能与用户个性化的期望。
• 突出现有WoD系统的主要局限，特别是其对内存处理的依赖以及缺乏近似技术。
• 提出构建面向大规模链接数据的可扩展、交互式且用户感知的探索与可视化系统的未来研究方向。

提出的方法

• 对数据库与信息可视化领域中现有的数据探索与可视化系统进行调研与分类。
• 分析WoD专用系统（例如Sgvizler、Visualbox、LDVizWiz）在数据类型、可视化类型与可扩展性机制方面的支持能力。
• 基于系统是否采用抽样、过滤与聚合等近似技术来管理大规模数据集，对系统进行评估。
• 通过检查系统是否使用外部存储或动态数据检索而非完整内存加载，评估其内存与I/O效率。
• 审查基于图的可视化系统，识别其在处理大型RDF图时的局限性，并提出分层抽象或基于磁盘的解决方案。
• 建议集成高级数据结构（如Nanocubes、HETree）以及缓存/预取技术，以提升可扩展性与响应速度。

实验结果

研究问题

• RQ1 当前的Web of Linked Data系统在多大程度上支持对大规模、动态数据集的可扩展探索？
• RQ2 现有可视化系统在有限屏幕空间内渲染数十亿个数据对象时，如何实现视觉可扩展性？
• RQ3 近似技术（如抽样、聚合与过滤）在WoD系统中实现可扩展数据探索方面发挥何种作用？
• RQ4 为何大多数WoD系统无法高效支持大规模数据集的交互？需要哪些架构改进？
• RQ5 如何利用用户偏好与交互模式来提升大规模数据探索系统在可用性与个性化方面的表现？

主要发现

• 大多数WoD探索与可视化系统缺乏可扩展性，因其依赖将整个数据集加载至主内存，因而仅适用于小规模数据集。
• 仅有少数系统（如SynopsViz与VizBoard）采用增量数据检索或抽样等近似技术，而这些技术对处理大规模数据至关重要。
• 大多数WoD系统未使用基于磁盘的存储或缓存机制，导致在大规模或流式数据集上性能表现不佳。
• 针对RDF数据的基于图的可视化系统常因布局算法内存消耗过高而无法扩展，且多数不支持分层聚合或边捆绑。
• 用户交互模式与系统响应速度之间缺乏有效整合，仅有少数系统提供个性化推荐或自适应可视化策略。
• 缺乏专为WoD工作负载设计的可扩展数据结构（如用于时空数据的Nanocubes，或用于数值数据的HETree），限制了现代系统性能。