[论文解读] Curator: Provenance Management for Modern Distributed Systems

Warren Smith, Thomas Moyer+1 more|arXiv (Cornell University)|Jun 1, 2018

Scientific Computing and Data Management被引用 1

一句话总结

Curator 是一个用于无缝集成到微服务架构及其他现代分布式系统中的血缘管理工具包。它可在不修改系统设计、最小化代码开销的前提下，利用目标系统的相同基础设施实现原生可扩展的血缘追踪。

ABSTRACT

Data provenance is a valuable tool for protecting and troubleshooting distributed systems. Careful design of the provenance components reduces the impact on the design, implementation, and operation of the distributed system. In this paper, we present Curator, a provenance management toolkit that can be easily integrated with microservice-based systems and other modern distributed systems. This paper describes the design of Curator and discusses how we have used Curator to add provenance to distributed systems. We find that our approach results in no changes to the design of these distributed systems and minimal additional code and dependencies to manage. In addition, Curator uses the same scalable infrastructure as the distributed system and can therefore scale with the distributed system.

研究动机与目标

• 解决在不破坏系统设计或运行方式的前提下，将血缘追踪集成到现代分布式系统中的挑战。
• 降低微服务架构及其他类似系统中血缘管理的复杂性和开销。
• 实现与底层分布式系统透明扩展的血缘收集。
• 提供一个工具包，使集成所需的额外代码和依赖项尽可能少。

提出的方法

• 将 Curator 设计为一个独立的工具包，通过轻量级插桩方式集成，避免对核心系统架构进行修改。
• 利用分布式系统所使用的相同可扩展基础设施（例如消息队列、服务网格）来传播血缘数据。
• 使用事件驱动的血缘捕获机制，在关键交互点记录数据血缘和系统操作。
• 支持可插拔的组件用于血缘存储、检索和分析，以适应多样化的部署需求。
• 通过接口抽象和最小运行时依赖项，确保向后兼容性和非侵入性。

实验结果

研究问题

• RQ1 是否可以在不改变系统设计或架构的前提下，向现代分布式系统添加血缘追踪？
• RQ2 对分布式系统进行血缘追踪插桩所需的最小运行时开销和代码开销是多少？
• RQ3 在生产环境中，血缘管理如何与底层分布式系统一同实现可扩展？
• RQ4 血缘收集在多大程度上可以与应用逻辑解耦，同时保持准确性和性能？

主要发现

• Curator 可在不修改原始系统设计的前提下实现分布式系统的血缘追踪。
• 该工具包引入了极少的额外代码和依赖项，显著降低了集成复杂度。
• 通过复用底层基础设施，血缘收集可自然地随分布式系统扩展。
• 该方法在保持系统性能和操作简单性的同时，实现了完整的血缘追踪和审计能力。