[논문 리뷰] Consistent Streaming Through Time: A Vision for Event Stream Processing

Roger Barga, Jonathan Goldstein외 2명|ArXiv.org|2006. 12. 21.

Advanced Database Systems and Queries참고 문헌 13인용 수 215

한 줄 요약

이 논문은 시간 기반 스트림 모델을 기반으로 한 통합 이벤트 스트림 처리 시스템인 CEDR를 소개한다. 이 시스템은 이벤트 처리, 데이터 스트림, 비동기 메시징을 통합하며, 시간 인식 쿼리 모델을 통해 일致성 보장을 하고 전달 불완전성을 처리함으로써 비즈니스 핵심 이벤트에 대해 정확하고 실시간으로 반응할 수 있도록 한다. 이로 인해 쿼리 표현력과 신뢰성이 향상된다.

ABSTRACT

Event processing will play an increasingly important role in constructing enterprise applications that can immediately react to business critical events. Various technologies have been proposed in recent years, such as event processing, data streams and asynchronous messaging (e.g. pub/sub). We believe these technologies share a common processing model and differ only in target workload, including query language features and consistency requirements. We argue that integrating these technologies is the next step in a natural progression. In this paper, we present an overview and discuss the foundations of CEDR, an event streaming system that embraces a temporal stream model to unify and further enrich query language features, handle imperfections in event delivery and define correctness guarantees. We describe specific contributions made so far and outline next steps in developing the CEDR system.

연구 동기 및 목표

• 이벤트 처리, 데이터 스트림, 퍼블리시/서브스크립션 메시징과 같은 다양한 기술을 동일한 처리 모델 아래 통합하기 위해.
• 시간 기반 처리 모델을 통해 이벤트 스트림의 일관성 결함과 전달 불완전성을 해결하기 위해.
• 기업 워크로드를 위한 실시간 스트림 처리에서 정확성 보장을 정의하고 이행하기 위해.
• 일관성과 확장성을 유지하면서 스트리밍 환경에서 쿼리 언어 기능을 향상시키기 위해.
• 시간 의미론을 갖춘 차세대 이벤트 스트림 처리 시스템의 기반을 마련하기 위해.

제안 방법

• CEDR는 이벤트를 시간 순서로 정렬된 데이터 항목으로 간주하는 시간 기반 스트림 모델을 사용하여 시간 간격에 걸쳐 일관된 처리를 가능하게 한다.
• 이 시스템은 이벤트 처리, 스트림 처리, 메시징 시스템의 쿼리 언어를 통합된 의미론적 프레임워크로 통합한다.
• 시간 기반 트랜잭션 의미론을 통해 일관성을 강제하여, 이벤트가 순서대로 도착하지 않거나 지연될 경우에도 정확한 결과를 보장한다.
• 이벤트 타임라인을 추적하고 일관된 체크포인트를 사용하여 복구 기능을 제공함으로써 장애 내성 처리를 지원한다.
• 신뢰할 수 있는 상태 관리를 위해 메모리 내 처리와 내구성 있는 스토리지의 하이브리드 실행 모델을 사용한다.
• 지속적 쿼리와 이벤트 기반 워크플로우를 모두 지원하며, 엣지 투 엔드 일관성 보장을 제공한다.

실험 결과

연구 질문

• RQ1 어떻게 이벤트 처리, 데이터 스트림, 비동기 메시징을 단일한 일관된 처리 모델 아래 통합할 수 있는가?
• RQ2 순서가 어긋나거나 지연된 이벤트 전달 상황에서도 정확성을 확보하기 위해 필요한 시간 추상화는 무엇인가?
• RQ3 스트리밍 시스템에서 일관성이나 성능을 희생시키지 않고 쿼리 표현력을 어떻게 향상시킬 수 있는가?
• RQ4 실시간 분산 스트림 처리에서 강력한 일관성 보장을 제공하기 위해 필요한 메커니즘은 무엇인가?
• RQ5 통합된 시스템이 시간적 정확성을 갖춘 지속적 쿼리와 이벤트 기반 워크플로우를 동시에 어떻게 지원할 수 있는가?

주요 결과

• CEDR는 일관된 의미론을 갖춘 단일한 시간 기반 스트림 모델을 통해 이벤트 처리, 스트림 처리, 메시징을 성공적으로 통합했다.
• 시간 기반 일관성 모델을 활용하여 네트워크 지연이나 순서 어긋남이 있는 이벤트 전달 상황에서도 정확성 보장을 제공한다.
• 다양한 영역의 쿼리 언어 기능을 통합함으로써 표현력을 향상시키면서도 성능과 신뢰성을 유지한다.
• 내구성 있는 상태 관리와 일관된 체크포인트 메커니즘을 통해 장애 내성 실행을 지원한다.
• 이 방법은 엣지 투 엔드 일관성을 갖춘 실시간 기업 애플리케이션이 비즈니스 핵심 이벤트에 정확하고 즉각적으로 반응할 수 있도록 한다.
• 이 논문은 이벤트 처리, 스트림 처리, 메시징의 강점을 시간적 정확성과 결합한 미래의 시스템을 위한 기반을 마련한다.