[论文解读] Putting Lipstick on Pig: Enabling Database-style Workflow Provenance

Yael Amsterdamer, Susan B. Davidson+4 more|arXiv (Cornell University)|Dec 31, 2011

Scientific Computing and Data Management参考文献 14被引用 8

一句话总结

本文提出 Lipstick，一种混合数据库式细粒度血缘追踪与工作流式执行追踪的血缘框架，通过建模 Pig Latin 模块以捕获内部状态和输入相关依赖。该框架引入一种新颖的血缘图结构，支持缩放（放大/缩小）操作与图变换，实现对大规模工作负载的高效、交互式血缘查询，响应时间低于一秒。

ABSTRACT

Workflow provenance typically assumes that each module is a "black-box", so that each output depends on all inputs (coarse-grained dependencies). Furthermore, it does not model the internal state of a module, which can change between repeated executions. In practice, however, an output may depend on only a small subset of the inputs (fine-grained dependencies) as well as on the internal state of the module. We present a novel provenance framework that marries database-style and workflow-style provenance, by using Pig Latin to expose the functionality of modules, thus capturing internal state and fine-grained dependencies. A critical ingredient in our solution is the use of a novel form of provenance graph that models module invocations and yields a compact representation of fine-grained workflow provenance. It also enables a number of novel graph transformation operations, allowing to choose the desired level of granularity in provenance querying (ZoomIn and ZoomOut), and supporting "what-if" workflow analytic queries. We implemented our approach in the Lipstick system and developed a benchmark in support of a systematic performance evaluation. Our results demonstrate the feasibility of tracking and querying fine-grained workflow provenance.

研究动机与目标

• 解决粗粒度工作流血缘追踪的局限性，后者假设所有输入影响所有输出，并忽略模块状态。
• 建模细粒度数据依赖关系，即输出仅依赖于输入的子集，尤其适用于迭代或有状态的工作流。
• 将数据库式血缘追踪（通过半环注记）与工作流执行血缘追踪相结合，以同时追踪数据血缘与模块调用状态。
• 通过新型图操作（如 ZoomIn 和 ZoomOut）实现动态粒度控制，支持交互式血缘分析。
• 证明在真实、大规模数据工作流中实现细粒度血缘追踪的可行性与性能表现。

提出的方法

• 通过半环注记扩展数据库血缘追踪机制，以追踪 Pig Latin 脚本中元组的推导过程。
• 将模块调用建模为血缘图中的节点，边表示模块之间的数据流与控制流。
• 提出一种新颖的血缘图结构，紧凑表示重复执行过程中细粒度依赖关系与内部状态。
• 支持图变换操作：ZoomIn（聚焦特定数据血缘）与 ZoomOut（聚合模块间的血缘信息）。
• 通过子图与删除操作实现“假设”查询，以模拟输入或模块状态的变化。
• 在真实工作负载（汽车经销商与北极站）上进行基准测试，使用合成数据与真实数据评估查询性能。

实验结果

研究问题

• RQ1 在输出仅依赖于输入子集及内部模块状态的数据密集型工作流中，能否有效捕获细粒度血缘？
• RQ2 血缘图应如何组织，以支持动态查询粒度（如缩放操作）而不牺牲性能？
• RQ3 血缘模型能否支持“假设分析”查询，例如“如果这个输入不同会怎样？”
• RQ4 在处理大量模块实例时，血缘图能否高效查询，尤其在大规模场景下？
• RQ5 能否在真实系统中实现数据库式血缘与工作流执行模型的集成，并保持实用性和高性能？

主要发现

• Lipstick 系统成功捕获了基于 Pig Latin 的工作流中细粒度依赖关系与内部模块状态，实现了超越粗粒度黑箱假设的详细血缘追踪。
• ZoomOut 与 ZoomIn 操作的查询处理时间均低于一秒，且与图大小呈线性关系；聚合查询因模块实例更少而比经销商查询更快。
• 子图查询的性能近似线性随结果大小增长，即使在节点数超过 40,000 的图上，响应时间也低于 0.2 秒。
• 删除操作极为高效，绝大多数查询在 1 毫秒内完成，全部查询均在 13 毫秒内完成，表明其在状态变更模拟中具有优异性能。
• 性能受工作流拓扑结构影响：高扇出（如扇出 3）的密集型工作流因边数增加，查询时间更长。
• 该框架支持实用且交互式的血缘分析，包括复杂的“假设”场景，证明其在真实世界数据工作流调试与审计中的可行性。