[논문 리뷰] A survey of systems for massive stream analytics

Maninder Singh, Mohammad A. Hoque외 1명|arXiv (Cornell University)|2016. 05. 29.

Data Stream Mining Techniques참고 문헌 12인용 수 14

한 줄 요약

이 논문은 대규모 실시간 데이터 분석을 위한 최신 스트림 처리 시스템에 대한 종합적 설문조사 및 비교 분석을 제시한다. 오픈소스(예: Storm, Spark Streaming, S4) 및 상용 솔루션(예: Amazon Kinesis, IBM InfoSphere Streams)을 평가하며, 지연 시간, 장애 내성, 확장성, 데이터 모델 지원 등의 핵심 설계 상충 관계를 규명한다. 결과적으로 실시간 스트림 분석이 고속도, 고처리량 데이터 스트림을 저지연으로 처리하는 현대의 빅데이터 워크로드에 필수적임을 결론 내린다.

ABSTRACT

The immense growth of data demands switching from traditional data processing solutions to systems, which can process a continuous stream of real time data. Various applications employ stream processing systems to provide solutions to emerging Big Data problems. Open-source solutions such as Storm, Spark Streaming, and S4 are the attempts to answer key stream processing questions. The recent introduction of real time stream processing commercial solutions such as Amazon Kinesis, IBM Infosphere Stream reflect industry requirements. The system and application related challenges to handle massive stream of real time data analytics are an active field of research. In this paper, we present a comparative analysis of the existing state-of-the-art stream processing solutions. We also include various application domains, which are transforming their business model to benefit from these large scale stream processing systems.

연구 동기 및 목표

• 대규모 실시간 데이터 워크로드를 처리하기 위한 기존 스트림 처리 시스템을 분석하고 비교하기.
• 고속도 데이터 스트림의 데이터 수집, 처리, 모델링, 마이닝에 관련된 시스템 수준의 주요 과제를 규명하기.
• 주요 스트림 처리 플랫폼 간 프로그래밍 모델, 장애 내성 메커니즘, 성능 특성 간 상충 관계 평가하기.
• 온라인 게임, 금융, 스마트 시티 등 실시간 스트림 분석에 의존하는 분야에서의 새로운 응용 사례 탐색하기.
• 지연 시간, 처리량, 데이터 모델 지원 등의 애플리케이션 특화 요구사항을 바탕으로 최적의 스트림 처리 시스템 선택을 위한 기반 제공하기.

제안 방법

• 오픈소스(Storm, Spark Streaming, S4) 및 상용(Amazon Kinesis, IBM InfoSphere Streams, MillWheel)을 포함한 10개 이상의 주요 스트림 처리 시스템에 대한 비교 분석 수행.
• 아키텍처, 프로그래밍 모델, 장애 내성, 지연 시간, 데이터 영속성 기능 기반으로 시스템 분류.
• 메시지 전달(예: Storm에서의 ZeroMQ), 처리 모델(예: Spark Streaming의 마이크로배치), 장애 내성 메커니즘(예: Storm의 메시지 보장 전달) 등의 시스템 구성 요소 평가.
• 실시간 환경에서의 데이터 수집, 데이터 처리, 데이터 모델링, 데이터 마이닝의 네 가지 차원에 걸친 시스템 과제 분석.
• Supercell의 실시간 게임 분석을 위한 Amazon Kinesis 활용 사례 및 저지연 처리가 요구되는 금융 서비스와 같은 실제 응용 사례 검토.
• 응용 프로그램 특화 요구사항(저지연, 확장성, 장애 내성 등)을 바탕으로 스트림 처리 시스템 선택을 위한 설계 원칙으로 통합.

실험 결과

연구 질문

• RQ1 주요 오픈소스 및 상용 스트림 처리 시스템 간 핵심 아키텍처 및 설계 차이점은 무엇인가?
• RQ2 Storm, Spark Streaming, S4와 같은 시스템 간 장애 내성 메커니즘과 메시지 전달 보장 방식은 어떻게 다름?
• RQ3 실시간 처리 시스템에서 고속도, 다양한 유형의 데이터 스트림을 처리하는 데 있어 주요 과제는 무엇인가?
• RQ4 프로그래밍 모델과 데이터 모델은 스트림 처리에서 시스템 성능, 지연 시간, 확장성에 어떤 영향을 미치는가?
• RQ5 온라인 게임 및 금융 분석과 같은 실세계 애플리케이션에 스트림 처리를 구현하기 위한 핵심 시스템 요구사항은 무엇인가?

주요 결과

• Storm는 ZeroMQ를 사용한 메시지 전달과 토폴로지 기반 아키텍처를 통해 밀리초 이하의 지연 시간과 강력한 장애 내성, 메시지 보장 전달 기능을 제공한다.
• Spark Streaming은 마이크로배치 처리 모델을 사용하며 정확히 한 번 전달 보장을 제공하고 배치 및 스트림 워크로드 통합이 가능하지만, 네이티브 스트림 시스템보다 높은 지연 시간을 가진다.
• S4는 영속적 상태를 제공하지 않으며 완전한 장애 내성을 갖추지 못해 상태 기반, 임무 핵심 애플리케이션에는 적합하지 않다.
• Amazon Kinesis 및 IBM InfoSphere Streams와 같은 상용 시스템은 클라우드 기반 실시간 분석을 위한 통합 기능을 내장한 관리형, 확장 가능한 솔루션을 제공하며, 특히 게임 및 금융 서비스 분야에서 두각을 나타낸다.
• 논문은 네 가지 주요 과제를 규명한다: 데이터 수집(속도 및 다양성 처리), 데이터 처리(영속적 저장소의 성능 상충), 데이터 모델링(예측 및 이벤트 탐지), 데이터 마이닝(이질적 데이터에 대한 동적 분석).
• 연구는 스트림 컴퓨팅이 현대의 빅데이터 워크로드에 필수적임을 결론 내리며, 저지연, 고처리량, 장애 내성, 다양한 데이터 유형 및 응용 사례를 위한 확장성까지 균형을 잡은 시스템이 필요하다고 강조한다.