[论文解读] Smoke: Fine-grained Lineage at Interactive Speed

Fotis Psallidas, Eugene Wu|arXiv (Cornell University)|Jan 22, 2018

Data Visualization and Analytics参考文献 68被引用 15

一句话总结

Smoke 是一种高性能的内存数据库引擎，通过将 lineage 逻辑紧密集成到物理数据库算子中，使用写优化的 lineage 数据结构和工作负载感知优化，实现了交互式速度的 lineage 捕获和查询处理。它将 lineage 捕获开销和查询延迟降低了多个数量级，优于当前最先进的系统和手写优化实现，在交互式可视化与数据剖析工作负载中表现更优。

ABSTRACT

Data lineage describes the relationship between individual input and output data items of a workflow, and has served as an integral ingredient for both traditional (e.g., debugging, auditing, data integration, and security) and emergent (e.g., interactive visualizations, iterative analytics, explanations, and cleaning) applications. The core, long-standing problem that lineage systems need to address---and the main focus of this paper---is to capture the relationships between input and output data items across a workflow with the goal to streamline queries over lineage. Unfortunately, current lineage systems either incur high lineage capture overheads, or lineage query processing costs, or both. As a result, applications, that in principle can express their logic declaratively in lineage terms, resort to hand-tuned implementations. To this end, we introduce Smoke, an in-memory database engine that neither lineage capture overhead nor lineage query processing needs to be compromised. To do so, Smoke introduces tight integration of the lineage capture logic into physical database operators; efficient, write-optimized lineage representations for storage; and optimizations when future lineage queries are known up-front. Our experiments on microbenchmarks and realistic workloads show that Smoke reduces the lineage capture overhead and streamlines lineage queries by multiple orders of magnitude compared to state-of-the-art alternatives. Our experiments on real-world applications highlight that Smoke can meet the latency requirements of interactive visualizations (e.g., <150ms) and outperform hand-written implementations of data profiling primitives.

研究动机与目标

• 解决数据 lineage 系统中长期存在的难题：在保持低 lineage 捕获开销与实现快速 lineage 查询性能之间取得平衡。
• 支持交互式应用（如可视化和数据剖析），这些应用需要低延迟的 lineage 查询，但目前因性能瓶颈而依赖手写优化。
• 通过联合设计 lineage 捕获与物理查询执行，消除 lineage 捕获成本与 lineage 查询效率之间的权衡。
• 证明基于 lineage 的实现可以在真实用例中达到或超越手写代码的性能表现。

提出的方法

• 将 lineage 捕获紧密集成到物理数据库算子中，避免昂贵的系统边界穿越和虚函数调用。
• 采用写优化的内存数据结构表示 lineage，以最小化存储和更新开销。
• 利用对未来的 lineage 查询的先验知识，避免物化不必要的 lineage 元数据。
• 基于已知的查询模式，应用工作负载感知优化，如延迟 lineage 捕获和选择性索引。
• 使用原生支持 lineage 传播的物理代数，实现高效的方向 lineage 查询（前向与后向）。
• 支持 eager 和 lazy 两种 lineage 查询执行策略，并针对交互式与批处理工作负载进行性能调优。

实验结果

研究问题

• RQ1 能否使 lineage 捕获足够高效，以支持交互式应用，同时不损害查询性能？
• RQ2 通过将 lineage 捕获直接集成到物理数据库算子中，能将 lineage 捕获开销降低多少？
• RQ3 工作负载感知优化在减少不必要的 lineage 物化和提升性能方面有多有效？
• RQ4 基于 lineage 的实现能否在真实世界的数据剖析与可视化任务中达到或超过手写优化代码的性能？
• RQ5 在复杂的真实工作负载（如函数依赖检测）中，lineage 系统的性能特征如何？

主要发现

• Smoke 将 lineage 捕获开销降低至基线查询执行成本的 1.2 倍以内，表现出近乎零性能损耗。
• 在函数依赖违规检测任务中，Smoke 相较于最先进的系统 UGuide (Metanome-UG) 提升了 2–6 倍，其中更简单的 Smoke-CD 方法整体速度最快。
• Smoke 中的 lineage 查询处理延迟低于 150ms，满足交互式可视化的需求。
• Smoke 基于 lineage 的数据剖析原原子实现，性能达到或超过手写优化实现。
• 利用先验查询知识，Smoke 能避免物化无关 lineage，显著降低存储与运行时开销。
• Smoke 的物理代数与写优化的 lineage 结构，使 lineage 查询性能相比现有系统提升了多个数量级。