[논문 리뷰] On Load Shedding in Complex Event Processing

Yeye He, Siddharth Barman외 1명|arXiv (Cornell University)|2013. 12. 16.

Advanced Database Systems and Queries참고 문헌 45인용 수 14

한 줄 요약

이 논문은 메모리 및 CPU 제약 조건 하에서 복합 이벤트 처리(CEP) 시스템에서의 로드 셰딩을 위한 형식적 프레임워크를 제안하며, 이를 유틸리티 최적화 최적화 문제로 모델링한다. 복잡도 결과를 규명하고, 성능 보장이 있는 근사 알고리즘을 제시하며, 이중 제약 조건을 가진 로드 셰딩에 대해 삼중 기준 근사 알고리즘과 특정 변형에 대해 다항 시간 해법을 포함한다.

ABSTRACT

Complex Event Processing (CEP) is a stream processing model that focuses on detecting event patterns in continuous event streams. While the CEP model has gained popularity in the research communities and commercial technologies, the problem of gracefully degrading performance under heavy load in the presence of resource constraints, or load shedding, has been largely overlooked. CEP is similar to "classical" stream data management, but addresses a substantially different class of queries. This unfortunately renders the load shedding algorithms developed for stream data processing inapplicable. In this paper we study CEP load shedding under various resource constraints. We formalize broad classes of CEP load-shedding scenarios as different optimization problems. We demonstrate an array of complexity results that reveal the hardness of these problems and construct shedding algorithms with performance guarantees. Our results shed some light on the difficulty of developing load-shedding algorithms that maximize utility.

연구 동기 및 목표

• 복합 이벤트 처리(CEP)에서의 로드 셰딩에 대한 연구 부족을 해결하며, 쿼리 패턴 측면에서 기존 스트림 처리와 근본적으로 다름.
• 메모리, CPU 또는 둘 다의 제약 조건 하에서 CEP 로드 셰딩을 유틸리티 최대화 최적화 문제로 형식화하여 탐지된 이벤트 패턴의 유틸리티를 극대화한다.
• CEP 로드 셰딩의 난이도에 대한 이론적 기초를 제공하며, 다양한 문제 변형에 대해 NP-난이도 및 근사 불가능성 결과를 입증한다.
• 실제 구현에 적합한 성능 보장이 있는 근사 알고리즘을 설계하며, 삼중 기준 및 의사 다항 시간 근사 알고리즘을 포함한다.
• 클라우드 기반 CEP 서비스 및 멀티테넌트 환경에서의 SLA 기반 워크로드 관리와 같은 실제 응용 사례에의 적용 가능성을 입증한다.

제안 방법

• 이벤트 및 쿼리 선택을 위한 이진 변수를 포함한 정수 및 분수 선형 프로그램(ILP 및 LP)으로 CEP 로드 셰딩을 모델링한다.
• 다섯 가지 핵심 문제 변형을 정의한다: FMLS(분수 메모리 전용), FCLS(분수 CPU 전용), IDLS(정수 이중 제약), FDLS(분수 이중 제약), IMLS(정수 메모리 전용).
• LP 완화 및 반올림 기법을 활용해 근사 알고리즘을 유도하며, 특히 IDLS의 삼중 기준 근사 알고리즘에 초점을 맞춘다.
• IDLS의 제약 조건 (31)을 도입하여, 쿼리가 모든 구성 이벤트가 메모리에 존재할 경우에만 처리되도록 보장함으로써 CPU 사용을 정확히 모델링한다.
• FDLS가 비볼록이며 비볼록 제약 조건을 가진다는 것을 증명하며, 전역 최적화가 어렵다는 것을 밝히고, 이를 도전적인 열린 문제로 규명한다.
• 각 이벤트가 포함될 수 있는 최대 쿼리 수(p) 및 쿼리 대 메모리 예산 비율(f)과 같은 구조적 특성을 활용해 의사 다항 시간 근사 bound를 도출한다.

실험 결과

연구 질문

• RQ1 메모리 및 CPU 제약 조건 하에서 CEP 로드 셰딩에서 유틸리티를 최대화하는 문제는 얼마나 어려운가?
• RQ2 자원 제약 조건 하에서 CEP 로드 셰딩에 대해 성능 보장이 있는 근사 알고리즘을 설계할 수 있는가?
• RQ3 이중 제약 로드 셰딩의 분수 및 정수 변형(FDLS 및 IDLS)의 복잡도는 어떠한가?
• RQ4 이벤트 패턴의 구조적 특성(예: 이벤트의 쿼리 참가 수 등)은 CEP 로드 셰딩의 근사 가능성에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 건강 모니터링 또는 클라우드 기반 멀티테넌시 처리와 같은 실제 CEP 워크로드에 적용 가능한가?

주요 결과

• FMLS(분수 메모리 전용 로드 셰딩) 문제는 표준 선형 프로그램으로 축약되므로 선형 프로그래밍을 통해 다항 시간 내에 해결 가능하다.
• FCLS(분수 CPU 전용 로드 셰딩) 문제 역시 단일 제약 조건을 가진 선형 프로그램이므로 다항 시간 내에 해결 가능하다.
• IDLS(정수 이중 제약 로드 셰딩)는 임의의 τ ∈ [0,1]에 대해 매개변수 (1/τ, 1/(1−τ), 1/(1−τ))를 가진 삼중 기준 근사 알고리즘을 제공하며, 자원 사용 및 유틸리티 손실이 모두 유한함을 보장한다.
• IDLS의 경우, p는 이벤트가 속할 수 있는 최대 쿼리 수이고 f는 메모리 예산 대 최대 쿼리 크기 비율이므로, (1−f)−1p-근사가 의사 다항 시간 내에 달성 가능하다.
• FDLS(분수 이중 제약 로드 셰딩) 문제는 비볼록이며 비볼록 제약 조건을 지니므로 정수 변형보다 훨씬 더 어렵고, 알려진 근사 알고리즘이 존재하지 않는다.
• FMLS 및 FCLS에서 도출된 난이도 결과는 FDLS로 확장되며, 비볼록성으로 인해 문제는 여전히 비결정적이고, 향후 최적화 연구의 핵심 과제로 부각된다.