[论文解读] Contexts and Data Quality Assessment

Leopoldo Bertossi, Flavio Rizzolo|arXiv (Cornell University)|Aug 14, 2016

Data Quality and Management参考文献 64被引用 4

一句话总结

本文提出了一种形式化、上下文相关的数据质量评估框架，将数据质量建模为数据库与一组源自外部模式和映射的、经过上下文验证的清洁版本之间的距离。主要贡献是一个通用模型，支持质量查询回答，并整合了语义约束、本体和多维上下文，实现稳健且与应用无关的数据质量评估。

ABSTRACT

The quality of data is context dependent. Starting from this intuition and experience, we propose and develop a conceptual framework that captures in formal terms the notion of "context-dependent data quality". We start by proposing a generic and abstract notion of context, and also of its uses, in general and in data management in particular. On this basis, we investigate "data quality assessment" and "quality query answering" as context-dependent activities. A context for the assessment of a database D at hand is modeled as an external database schema, with possibly materialized or virtual data, and connections to external data sources. The database D is put in context via mappings to the contextual schema, which produces a collection C of alternative clean versions of D. The quality of D is measured in terms of its distance to C. The class C} is also used to define and do "quality query answering". The proposed model allows for natural extensions, like the use of data quality predicates, the optimization of the access by the context to external data sources, and also the representation of contexts by means of more expressive ontologies.

研究动机与目标

• 将数据质量形式化为上下文相关的概念，认识到‘优质’数据因应用上下文和用户意图而异。
• 开发一个概念模型，捕捉外部元数据和外部数据源如何在特定上下文中定义数据质量。
• 通过将目标数据库映射到上下文模式，推导出其清洁、上下文有效的版本，从而实现质量查询回答。
• 通过质量谓词、本体和多维上下文支持可扩展性，实现更丰富的质量评估。

提出的方法

• 将上下文建模为具有物化或虚拟数据的外部数据库模式，并通过映射连接到外部源。
• 通过将目标数据库 D 映射到上下文模式，定义一组 𝒞 的替代清洁版本。
• 将数据质量度量为 D 与集合 𝒞 之间的距离，将质量形式化为与上下文正确数据的接近程度。
• 使用集合 𝒞 定义质量查询答案——即在 𝒞 中所有清洁版本中一致的答案。
• 将模型扩展以支持本体（如 Datalog±、OWL）和多维上下文，实现更丰富的语义约束。
• 集成质量谓词和完整性约束，以在上下文中形式化领域特定的质量要求。

实验结果

研究问题

• RQ1 如何形式化地定义数据质量，以反映其对上下文和用户特定需求的依赖性？
• RQ2 如何通过将数据库与源自外部源的、上下文有效的清洁版本集合进行比较，来评估其质量？
• RQ3 哪些机制能够基于上下文验证的数据版本实现一致的查询回答？
• RQ4 如何通过更丰富的表示形式（如本体或多维模型）增强数据质量评估的表达力和准确性？
• RQ5 如何扩展该框架以支持优化、推理以及质量度量的高效计算？

主要发现

• 该框架将数据质量形式化为数据库与一组上下文推导出的清洁版本之间的距离度量，实现了客观、形式化的质量评估。
• 质量查询答案被定义为在上下文内所有数据库清洁版本中均出现的答案，确保了一致性和可靠性。
• 该模型自然支持语义约束和质量谓词的集成，使得领域特定的质量规则能够被编码并强制执行。
• 该方法通过将数据库修复和一致查询回答模型嵌入更广泛的上下文框架中，实现了对现有模型的泛化和扩展。
• 使用本体和多维上下文使得质量评估超越传统关系模型，实现更丰富、更具表达力的评估。
• 该框架具有可扩展性，支持未来在质量度量高效计算和外部上下文数据可扩展访问方面的研究。