[论文解读] Consistent Streaming Through Time: A Vision for Event Stream Processing

Roger Barga, Jonathan Goldstein+2 more|ArXiv.org|Dec 21, 2006

Advanced Database Systems and Queries参考文献 13被引用 215

一句话总结

本文提出了 CEDR，一种基于时间流模型的统一事件流处理系统，整合了事件处理、数据流和异步消息传递。通过实施一致性保证并利用时间感知查询模型处理交付不完善问题，CEDR 实现了对业务关键事件的正确、实时响应，同时提升了查询表达能力和可靠性。

ABSTRACT

Event processing will play an increasingly important role in constructing enterprise applications that can immediately react to business critical events. Various technologies have been proposed in recent years, such as event processing, data streams and asynchronous messaging (e.g. pub/sub). We believe these technologies share a common processing model and differ only in target workload, including query language features and consistency requirements. We argue that integrating these technologies is the next step in a natural progression. In this paper, we present an overview and discuss the foundations of CEDR, an event streaming system that embraces a temporal stream model to unify and further enrich query language features, handle imperfections in event delivery and define correctness guarantees. We describe specific contributions made so far and outline next steps in developing the CEDR system.

研究动机与目标

• 将事件处理、数据流和发布/订阅消息传递等不同技术统一到一个共同的处理模型之下。
• 通过时间感知处理模型，解决事件流中的一致性问题和交付不完善问题。
• 在实时流处理中定义并强制执行正确性保证，以支持企业工作负载。
• 在保持流处理环境中一致性与可扩展性的前提下，增强查询语言功能。
• 为下一代具备时间语义的事件流处理系统奠定基础。

提出的方法

• CEDR 采用时间流模型，将事件视为时间有序的数据项，从而实现在时间区间上的一致处理。
• 将事件处理、流处理和消息系统中的查询语言整合到统一的语义框架中。
• 通过基于时间的事务语义强制实施一致性，确保在事件乱序或延迟交付的情况下仍能获得正确结果。
• 通过跟踪事件时间线并利用一致检查点实现恢复，支持容错处理。
• 采用混合执行模型，结合内存处理与持久化存储，实现可靠的有状态管理。
• 该架构支持连续查询和事件驱动工作流，并提供端到端的一致性保证。

实验结果

研究问题

• RQ1 如何在单一一致的处理模型下统一事件处理、数据流和异步消息传递？
• RQ2 为确保在事件乱序或延迟交付情况下的正确性，需要哪些时间抽象？
• RQ3 如何在不牺牲流系统中的一致性或性能的前提下，增强查询表达能力？
• RQ4 在实时、分布式流处理中，需要何种机制才能提供强一致性保证？
• RQ5 如何使统一系统同时支持连续查询和事件驱动工作流，并保证时间正确性？

主要发现

• CEDR 通过统一的时间流模型，成功将事件处理、流处理和消息传递整合为具有统一语义的一体化系统。
• 通过利用基于时间的一致性模型，系统即使在存在网络延迟或事件乱序交付的情况下，也能提供正确性保证。
• 将多个领域中的查询语言功能进行整合，增强了表达能力，同时保持了性能与可靠性。
• CEDR 通过持久化状态管理和一致检查点机制，支持容错执行。
• 该方法使实时企业应用能够对业务关键事件做出正确且即时的响应，并实现端到端一致性。
• 本文为未来系统奠定了基础，使其能够结合事件处理、流处理和消息传递的优势，并具备时间正确性。