[论文解读] Linked Data Integration with Conflicts

Jan Michelfeit, Tomáš Knap+1 more|arXiv (Cornell University)|Oct 27, 2014

Semantic Web and Ontologies参考文献 10被引用 13

一句话总结

本文提出了一种新颖的数据融合算法，支持冲突消解与来源追踪，用于链接数据集成，并引入了一种新的F-quality度量指标以评估融合后数据的质量。该方法在ODCleanStore中实现，并在真实的开放链接数据上进行了评估，通过解决模式、身份和数据冲突，同时利用多源上下文进行质量评估，显著提升了数据的简洁性与一致性。

ABSTRACT

Linked Data have emerged as a successful publication format and one of its main strengths is its fitness for integration of data from multiple sources. This gives them a great potential both for semantic applications and the enterprise environment where data integration is crucial. Linked Data integration poses new challenges, however, and new algorithms and tools covering all steps of the integration process need to be developed. This paper explores Linked Data integration and its specifics. We focus on data fusion and conflict resolution: two novel algorithms for Linked Data fusion with provenance tracking and quality assessment of fused data are proposed. The algorithms are implemented as part of the ODCleanStore framework and evaluated on real Linked Open Data.

研究动机与目标

• 为解决链接数据集成中的挑战，特别是缺乏标准化元数据时的冲突消解与数据质量评估问题。
• 开发一种可扩展的、具备来源追踪能力的数据融合算法，能够处理异构链接数据源中的模式、身份和数据冲突。
• 提出F-quality——一种新颖的融合数据质量度量指标，综合考虑跨多个数据源的冲突上下文，提升数据集成中的决策质量。
• 通过模块化框架支持增量更新与动态模式演化，实现实用的按需数据集成。
• 在真实世界的开放链接数据上评估该方法，验证其在企业环境与开放数据场景下的可行性与性能。

提出的方法

• 该数据融合算法通过使用规范URI和来源追踪，整合多个RDF数据源，解决模式、身份和属性值中的冲突。
• 将空白节点视为独立实体或结构化属性，支持可配置的处理方式，以实现灵活的数据融合。
• F-quality度量指标通过衡量冲突消解结果与跨源值的一致性，评估融合后数据质量，对冲突值采用基于距离的比较方法。
• 该框架通过部分物化的方式支持增量处理，实现在不重新处理整个数据集的前提下动态更新。
• 系统在ODCleanStore和ODCS-FusionTool中实现，支持SPARQL查询与冲突感知的数据检索。
• 来源追踪贯穿整个流程，支持数据血缘与质量决策的完整可追溯性。

实验结果

研究问题

• RQ1 如何在保留数据来源追踪与质量信息的前提下，有效消解链接数据源中的冲突值？
• RQ2 什么样的质量度量指标适用于融合后的数据，能够综合考虑冲突消解的上下文，而非仅依赖于单一来源的质量？
• RQ3 在缺乏全局标识符的情况下，如何有效处理空白节点以实现数据融合？
• RQ4 冲突感知的数据融合在多大程度上提升了真实世界开放链接数据中的数据简洁性与一致性？
• RQ5 在企业与开放数据环境中，按需、增量式数据融合方法是否既能高效又能可扩展？

主要发现

• 所提出的融合算法在真实链接数据上的应用显著提升了数据的简洁性与一致性，尤其在解决冲突值与模式异构性方面表现突出。
• F-quality度量指标成功捕捉了冲突消解带来的质量提升，使数据消费者即使在缺乏显式质量元数据的情况下也能做出明智决策。
• 来源追踪实现了数据血缘的完整可追溯性，增强了集成数据的可信度与可审计性。
• 性能评估显示，通过SPARQL进行数据检索是主要性能瓶颈，占执行时间的90%左右，凸显了缓存与并行化优化的必要性。
• 该系统已在OpenData.cz项目中持续使用超过一年，处理捷克公共合同与欧盟采购数据，证明了其长期可行性与实际应用价值。
• 该框架支持增量更新与动态模式演化，为实现关键的按需集成模式提供了保障。