[논문 리뷰] Fault Tolerance for Stream Processing Engines

Muhammad Anis Uddin Nasir|arXiv (Cornell University)|2016. 05. 03.

Cloud Computing and Resource Management참고 문헌 33인용 수 5

한 줄 요약

이 종합 검토는 Storm, S4, Samza, Spark Streaming 및 MillWheel과 같은 현대 분산 스트림 처리 엔진(DSPEs)에서의 장애 내성 기법을 분석하며, 활성 복제, 수동 복제, 상류 백업으로 분류한다. 이 기법들이 실시간 스트림 처리 시스템에서 저지연, 고처리량, 고가용성 요구사항에 어떻게 영향을 미치는지 평가한다.

ABSTRACT

Distributed Stream Processing Engines (DSPEs) target applications related to continuous computation, online machine learning and real-time query processing. DSPEs operate on high volume of data by applying lightweight operations on real-time and continuous streams. Such systems require clusters of hundreds of machine for their deployment. Streaming applications come with various requirements, i.e., low-latency, high throughput, scalability and high availability. In this survey, we study the fault tolerance problem for DSPEs. We discuss fault tolerance techniques that are used in modern stream processing engines that are Storm, S4, Samza, SparkStreaming and MillWheel. Further, we give insight on fault tolerance approaches that we categorize as active replication, passive replication and upstream backup. Finally, we discuss implications of the fault tolerance techniques for different streaming application requirements.

연구 동기 및 목표

• Storm, S4, Samza, Spark Streaming 및 MillWheel과 같은 현대 분산 스트림 처리 엔진(DSPEs)의 장애 내성 메커니즘을 분석하기 위해.
• 장애 내성 전략을 활성 복제, 수동 복제, 상류 백업으로 분류하고 식별하기 위해.
• 이러한 장애 내성 기법이 저지연, 고처리량, 확장성, 고가용성과 같은 핵심 응용 요구사항에 어떻게 영향을 미치는지 평가하기 위해.
• DSPEs에서 신뢰성, 성능, 자원 사용 간의 상호 교환 관계에 대한 통찰을 제공하기 위해.

제안 방법

• Storm, S4, Samza, Spark Streaming 및 MillWheel과 같은 다섯 가지 주요 DSPE에서 사용하는 장애 내성 기법을 조사하고 분석하기 위해.
• 장애 내성 접근 방식을 활성 복제, 수동 복제, 상류 백업의 세 가지 범주로 분류하기 위해.
• 각 기법이 지연, 처리량, 장애 복구 시간과 같은 시스템 성질에 미치는 영향을 평가하기 위해.
• 각 엔진의 장애 내성 메커니즘의 설계 선택 사항과 운영 특성을 비교하기 위해.
• 저지연 및 고가용성과 같은 응용 수준 요구사항에 장애 내성 전략을 매핑하기 위해.
• 스트림 처리에서 일致성, 성능, 장애 내성 간의 상호 교환 관계에 대한 체계적인 분석을 제공하기 위해.

실험 결과

연구 질문

• RQ1 현대 스트림 처리 엔진은 대규모 구현에서 고가용성을 확보하기 위해 장애 내성을 어떻게 구현하는가?
• RQ2 DSPEs에서 활성 복제, 수동 복제, 상류 백업의 특징과 상호 교환 관계는 무엇인가?
• RQ3 장애 내성 메커니즘이 실시간 스트림 처리에서 저지연 및 고처리량 요구사항에 어떻게 영향을 미치는가?
• RQ4 다양한 장애 내성 전략이 시스템 확장성과 자원 활용도에 미치는 영향은 무엇인가?
• RQ5 DSPE의 장애 내성 기법은 지속적이고 실시간 데이터 처리 워크로드의 운영 요구사항과 어떻게 부합하는가?

주요 결과

• 활성 복제는 지속적인 상태 동기화로 인해 더 높은 자원 오버헤드를 유발하지만, 낮은 복구 지연을 제공한다.
• 수동 복제에서는 단일 활성 인스턴스를 유지함으로써 자원 사용을 줄일 수 있지만, 상태 재재생으로 인해 복구 지연이 더 크다.
• 상류 백업은 손실된 데이터를 재처리하기 위해 외부 데이터 소스에 의존하므로 시스템 복잡성을 줄일 수 있지만, 종단 간 지연이 증가할 수 있다.
• 장애 내성 기법의 선택은 시스템 성능에 상당한 영향을 미치며, 지연, 처리량, 장애 복구 시간 간의 상호 교환 관계가 존재한다.
• MillWheel과 Spark Streaming과 같은 DSPE는 상태 관리 오버헤드를 최소화하기 위해 상류 백업을 사용하여 단순성과 확장성을 우선시한다.
• Storm과 Samza는 높은 자원 비용에도 불구하고 저지연 장애 복구를 달성하기 위해 활성 복제를 채택하여 저지연 응용 프로그램에 적합하다.