[论文解读] A Distributed Process Infrastructure for a Distributed Data Structure

Marko A. Rodriguez|ArXiv.org|Jul 24, 2008

Semantic Web and Ontologies参考文献 6被引用 6

一句话总结

本文提出了一种RDF虚拟机（RVM）模型，通过将进程迁移到数据而非将数据传输到本地系统，实现在语义网络上直接进行分布式的图灵完备计算。通过在基于URI的地址空间中完全以RDF表示计算机器、软件和数据，RVM能够高效地遍历和处理大规模分布式RDF图，克服了集中式索引和'下载并索引'模型的局限性。

ABSTRACT

The Resource Description Framework (RDF) is continuing to grow outside the bounds of its initial function as a metadata framework and into the domain of general-purpose data modeling. This expansion has been facilitated by the continued increase in the capacity and speed of RDF database repositories known as triple-stores. High-end RDF triple-stores can hold and process on the order of 10 billion triples. In an effort to provide a seamless integration of the data contained in RDF repositories, the Linked Data community is providing specifications for linking RDF data sets into a universal distributed graph that can be traversed by both man and machine. While the seamless integration of RDF data sets is important, at the scale of the data sets that currently exist and will ultimately grow to become, the "download and index" philosophy of the World Wide Web will not so easily map over to the Semantic Web. This essay discusses the importance of adding a distributed RDF process infrastructure to the current distributed RDF data structure.

研究动机与目标

• 通过使计算能够移动到数据，解决大规模RDF图中集中式数据检索的低效问题。
• 提供一种分布式进程基础设施，以补充语义网络现有的分布式数据结构。
• 支持图灵完备、可执行的算法，能够在不需数据传输的情况下遍历和操作全局链接数据图。
• 通过统一的基于URI的地址空间，实现在分布式RDF仓库之间安全、可扩展且可移植的算法执行。
• 通过支持复杂的分布式图算法，克服关键词搜索和SPARQL查询的局限性，实现在语义网络上的复杂计算。

提出的方法

• 在基于URI的地址空间中，将整个计算栈——硬件、软件和数据——表示为RDF三元组。
• 设计仅执行RDF编码软件并仅处理RDF编码数据的RDF虚拟机（RVM）。
• 通过将RVM及其代码作为RDF子图迁移到远程仓库，实现在物理机器之间的进程迁移。
• 使用RDF编程语言（例如FABL、Ripple、Adenosine），这些语言可直接编译为RDF，从而消除双模型编程的需要。
• 利用语义网络的固有分布特性，使RVM能够在数据所在位置进行计算，最大限度减少网络传输。
• 建立一种计算与底层物理机器无关的模型，仅依赖URI空间确定执行位置。

实验结果

研究问题

• RQ1 如何使语义网络上的分布式图计算比传统的'下载并索引'方法更高效？
• RQ2 何种架构模型能够原生支持在语义网络的分布式RDF数据结构中实现图灵完备计算？
• RQ3 如何在分布式RDF仓库之间以安全且可扩展的方式实现进程迁移？
• RQ4 RDF编程语言在实现语义网络算法统一、分布式的执行模型中扮演何种角色？
• RQ5 RVM模型在哪些方面能够克服在全局链接数据图上执行算法时面临性能和安全性的局限？

主要发现

• RVM模型通过在基于URI的地址空间中将计算的所有方面表示为RDF三元组，实现了在语义网络上的分布式图灵完备计算。
• 将进程迁移到数据（而非将数据传输到进程）显著提升了大规模图分析的可扩展性和效率。
• RDF编程语言（如FABL、Ripple、Adenosine）使开发人员能够完全以RDF编写代码，消除了双模型编程的需要，实现了代码和计算的无缝分发。
• 该模型支持执行的可移植性和平台无关性，因为RVM不依赖于任何特定物理机器。
• 安全、性能和采用仍是关键挑战，尤其涉及信任、执行速度以及RDF数据提供者支持RVM'农场'的需求。
• RVM模型为在不依赖集中式索引或数据复制的情况下，在全局链接数据图上执行复杂、分布式的算法提供了基础。