[论文解读] 10^(10^6) Worlds and Beyond: Efficient Representation and Processing of Incomplete Information

Lyublena Antova, Christoph Koch+1 more|ArXiv.org|Jun 16, 2006

Data Management and Algorithms参考文献 19被引用 16

一句话总结

本文提出了世界集分解（WSDs），一种在不完整数据库中对大规模可能世界集合进行空间高效且完备表示的方法。通过将世界集关系分解为模板关系和组件关系，WSDs 实现了高效的查询评估——其性能与单世界查询相当——同时可扩展至包含高达 10^(10^6) 个世界的集合，如人口普查数据实验所示。

ABSTRACT

Current systems and formalisms for representing incomplete information generally suffer from at least one of two weaknesses. Either they are not strong enough for representing results of simple queries, or the handling and processing of the data, e.g. for query evaluation, is intractable. In this paper, we present a decomposition-based approach to addressing this problem. We introduce world-set decompositions (WSDs), a space-efficient formalism for representing any finite set of possible worlds over relational databases. WSDs are therefore a strong representation system for any relational query language. We study the problem of efficiently evaluating relational algebra queries on sets of worlds represented by WSDs. We also evaluate our technique experimentally in a large census data scenario and show that it is both scalable and efficient.

研究动机与目标

• 为解决在真实世界数据库中表示和查询大规模不完整世界集合所面临的可扩展性和效率挑战。
• 克服现有形式化方法（如或集和 c-表）的局限性，这些方法或表达能力不足，或面临查询评估不可解的问题。
• 通过保留世界之间的结构依赖关系和共性，实现对不完整数据的实用数据清洗和查询处理。
• 设计一种表示方法，支持对世界集合的完全、无损且空间高效的编码，即使世界数量达到天文数字级别也适用。

提出的方法

• 提出世界集分解（WSDs）作为将世界集关系分解为模板关系与组件关系的乘积，其中该乘积可重建原始世界集。
• 利用组件关系捕获相互依赖的属性（例如跨元组的社会安全号码），而模板关系则存储独立且共享的属性（例如姓名）。
• 基于属性独立性采用基于组件的分解策略，将相互依赖的属性归入同一组件。
• 直接在 UWSDTs（无序世界集分解表）上应用关系代数操作（选择、投影、自然连接），保持正确性与效率。
• 采用重写策略将 WSD 上的查询转换为在分解后关系上的等价查询，最大限度减少组件关系的膨胀。
• 在大规模人口普查数据集上进行实验评估，以验证可扩展性与性能，将基于 UWSDT 的查询评估与单世界及朴素世界集方法进行比较。

实验结果

研究问题

• RQ1 能否为规模大到无法显式存储的可能世界集合，设计一种紧凑、完整且无损的表示方法？
• RQ2 能否在不显式物化所有世界的情况下，高效地在该表示上评估关系代数查询？
• RQ3 该分解策略是否在降低空间与时间复杂度的同时，保持了查询语义的正确性？
• RQ4 在实际应用中，WSD 上的查询评估性能与单世界数据库相比如何？
• RQ5 WSD 能否有效建模具有局部依赖关系和高度结构重叠的真实世界不完整数据？

主要发现

• 所提出的世界集分解（WSD）表示在空间效率上接近最优，即使在包含高达 10^(10^6) 个可能世界的集合中，UWSDT 的大小也接近单个世界大小。
• UWSDT 上的查询评估时间与单世界查询相当，实验结果表明在不同数据密度下性能退化极小。
• 该分解策略成功捕获了依赖关系（例如社会安全号码的唯一性约束），从而能够表达或集关系无法表达的结果。
• 在包含 1250 万行的人口普查数据集上的实验表明，基于 UWSDT 的查询处理具有良好的可扩展性，评估时间随数据规模和复杂度的增加仅略有上升。
• 该方法能有效处理涉及连接和子查询的复杂查询，尽管理论最坏情况时间复杂度为指数级，但实际中组件组合仍保持可处理性。
• 在最大规模情况下观察到 PostgreSQL 中的内存管理问题，但通过数据分块后性能保持稳定，证实了该方法的实际可行性。