[论文解读] Data Validation for Big Live Data

Malcolm Crowe, Carolyn E. Begg+2 more|arXiv (Cornell University)|Oct 5, 2021

Cloud Computing and Resource Management被引用 3

一句话总结

本文提出了一种readCheck验证机制，用于在大数据实时数据的虚拟数据仓库中确保数据时效性并减少网络流量。通过扩展REST ETag式的行版本验证，该机制实现了跨分布式异构数据源的乐观并发控制，并具备完整的ACID属性，确保查询结果始终最新且可验证，而无需在请求方物化数据。

ABSTRACT

Data Integration of heterogeneous data sources relies either on periodically transferring large amounts of data to a physical Data Warehouse or retrieving data from the sources on request only. The latter results in the creation of what is referred to as a virtual Data Warehouse, which is preferable when the use of the latest data is paramount. However, the downside is that it adds network traffic and suffers from performance degradation when the amount of data is high. In this paper, we propose the use of a readCheck validator to ensure the timeliness of the queried data and reduced data traffic. It is further shown that the readCheck allows transactions to update data in the data sources obeying full Atomicity, Consistency, Isolation, and Durability (ACID) properties.

研究动机与目标

• 解决在数据保留在分布式异构源中的虚拟数据仓库中，维持最新、一致且可验证数据的挑战。
• 减少在实时集成场景中频繁轮询实时数据源所导致的网络流量和性能下降。
• 在确保全局视图中数据正确性和一致性的前提下，实现对数据源的分布式ACID合规更新。
• 在数据完整性与时效性至关重要的监管和企业环境中，支持数据整理与溯源追踪。
• 提供一种轻量级、互操作的验证机制，可在不同数据模型和所有权边界之间工作，且无需数据复制。

提出的方法

• readCheck机制将RFC 7232 ETags扩展，加入行版本标识符（RVV），以跟踪每行数据的事务日志位置和数据源表。
• 每个查询结果行均标注一个RVV字符串（例如，'Statistics:578:474'），表示源表、日志位置和事务ID，从而实现变更检测。
• 请求方可使用RVV验证先前获取的结果是否仍然有效；若未更改，则重用结果，避免冗余查询。
• 系统通过在底层数据源上支持PUT/POST/DELETE操作，实现可更新的REST视图，从而在保证ACID合规的前提下支持分布式数据整理。
• 使用Pyrrho数据库原型演示了该机制，可自动创建REST视图，并在连接视图间传播RVV和ETag。
• 该方法假设从单个视图（Vi）到全局视图（V）的转换过程中无数据冲突，未来工作计划利用元数据自动映射模式。

实验结果

研究问题

• RQ1 如何在不将数据物化到请求方的情况下，验证虚拟数据仓库中的数据时效性？
• RQ2 何种机制能够实现高效、低开销的查询结果验证，以减少实时数据集成中的冗余数据传输？
• RQ3 行版本验证系统是否能够支持跨分布式异构数据源的完整ACID属性的乐观并发控制？
• RQ4 在整合来自多个独立拥有数据源的实时数据时，如何维护数据溯源和正确性？
• RQ5 基于REST的、类似ETag的机制在多大程度上可扩展以支持复杂连接视图和分布式数据更新？

主要发现

• readCheck机制成功通过行版本标识符（RVV）实现查询结果的验证，使请求方能够判断结果是否仍为最新，而无需重新查询。
• 当RVV保持不变时重用缓存结果，系统在实时数据场景中显著减少了网络流量和查询延迟。
• 使用Pyrrho的原型实现表明，可自动创建可更新的REST视图，支持对底层数据源的PUT、POST和DELETE操作。
• 通过在RVV中使用事务日志位置检测冲突，系统实现了分布式更新的完整ACID属性，确保一致性。
• 该机制具备互操作性：请求方仅需验证RVV字符串，无需理解源数据的内部结构或验证逻辑。
• 该方法支持数据整理和溯源透明性，因为每行结果都携带有关其来源和事务状态的元数据，从而实现可审计性和可信度。