[논문 리뷰] Approximate Stream Analytics in Apache Flink and Apache Spark Streaming.

Do Le Quoc, Ruichuan Chen외 4명|arXiv (Cornell University)|2017. 09. 09.

Data Stream Mining Techniques참고 문헌 12인용 수 8

한 줄 요약

StreamApprox는 Apache Flink과 Spark Streaming에서 스트림 분석을 위한 근사 처리를 위한 온라인 계층화 리저보아 샘플링 알고리즘을 도입하여 실시간으로 효율적인 처리를 가능하게 하며 엄격한 오차 한계를 제공한다. 기존 시스템 대비 1.15×–3×의 성능 향상을 기록했고, 개선된 Spark 기반 베이스라인 대비 1.1×–2.4×의 성능 향상을 기록했으며, 10%에서 80%까지의 샘플링 비율 범위에서 일관된 정확도를 유지한다.

ABSTRACT

Approximate computing aims for efficient execution of workflows where an approximate output is sufficient instead of the exact output. The idea behind approximate computing is to compute over a representative sample instead of the entire input dataset. Thus, approximate computing - based on the chosen sample size - can make a systematic trade-off between the output accuracy and computation efficiency. Unfortunately, the state-of-the-art systems for approximate computing primarily target batch analytics, where the input data remains unchanged during the course of sampling. Thus, they are not well-suited for stream analytics. This motivated the design of StreamApprox - a stream analytics system for approximate computing. To realize this idea, we designed an online stratified reservoir sampling algorithm to produce approximate output with rigorous error bounds. Importantly, our proposed algorithm is generic and can be applied to two prominent types of stream processing systems: (1) batched stream processing such as Apache Spark Streaming, and (2) pipelined stream processing such as Apache Flink. We evaluated StreamApprox using a set of microbenchmarks and real-world case studies. Our results show that Spark- and Flink-based StreamApprox systems achieve a speedup of $1.15 imes$-$3 imes$ compared to the respective native Spark Streaming and Flink executions, with varying sampling fraction of $80\%$ to $10\%$. Furthermore, we have also implemented an improved baseline in addition to the native execution baseline - a Spark-based approximate computing system leveraging the existing sampling modules in Apache Spark. Compared to the improved baseline, our results show that StreamApprox achieves a speedup $1.1 imes$-$2.4 imes$ while maintaining the same accuracy level.

연구 동기 및 목표

• 기존 스트림 분석을 위한 근사 계산 시스템이 전통적으로 정적 데이터 세트를 대상으로 한 배치 처리에 집중하는 점을 보완하기 위해.
• 파이프라인 모델(Flink)과 배치 모델(Spark Streaming) 모두에 적합한 일반적인 온라인 샘플링 알고리즘을 설계하기 위해.
• 근사 출력에 엄격한 오차 한계를 확보하면서도 기존 시스템 및 기반 근사 시스템 대비 뚜렷한 성능 향상을 이룰 수 있도록 하기 위해.
• 마이크로 벤치마크와 실제 워크로드를 통해 시스템을 평가하여 동적 데이터 환경에서의 확장성과 정확도 간의 상호 보완 관계를 입증하기 위해.

제안 방법

• 시간이 지남에 따라 대표성 있는 샘플을 유지할 수 있도록 설계된 온라인 계층화 리저보아 샘플링 알고리즘 개발.
• 파이프라인 모델(Flink)과 배치 모델(Spark Streaming) 모두에 적용하여 광범위한 호환성 확보.
• 스트림 처리 파이프라인에 샘플링 메커니즘을 통합하여 증명 가능한 오차 한계를 가진 근사 결과를 계산하기 위해.
• 데이터 파artition 간 분포 특성을 유지함으로써 샘플링 정확도를 향상시키기 위해 계층화 기법 적용.
• 데이터 도착률과 시스템 부하에 따라 동적으로 샘플링을 조정하여 효율성과 정확도 유지를 위한 전략.
• 성능 및 정확도 향상을 비교하기 위해 Spark의 네이티브 샘플링 모듈을 활용한 하이브리드 베이스라인 구현.

실험 결과

연구 질문

• RQ1 Flink와 Spark Streaming과 같은 파이프라인 모델 및 배치 모델 스트림 처리 프레임워크에 대해 온라인 계층화 리저보아 샘플링 알고리즘이 효과적으로 적용될 수 있는가?
• RQ2 제안된 시스템은 네이티브 스트림 처리 시스템 및 기존 근사 계산 기반 시스템과 비교해 성능 및 정확도 측면에서 어떻게 다른가?
• RQ3 실시간 스트림 분석에서 샘플링 비율, 실행 속도, 출력 정확도 사이의 상호 보완 관계는 어떠한가?
• RQ4 동적 데이터 워크로드 환경에서 뚜렷한 성능 향상을 달성하면서도 엄격한 오차 한계를 유지할 수 있는가?
• RQ5 다양한 마이크로 벤치마크와 실제 워크로드에서 시스템의 성능은 어떠한가?

주요 결과

• 10%에서 80%의 샘플링 비율을 사용할 경우, StreamApprox는 네이티브 Apache Flink 및 Spark Streaming 실행 대비 1.15×에서 3×의 성능 향상을 기록한다.
• Spark의 네이티브 샘플링 모듈을 활용한 개선된 Spark 기반 베이스라인과 비교했을 때, StreamApprox는 동일한 정확도를 유지하면서도 1.1×에서 2.4×의 성능 향상을 기록한다.
• 온라인 계층화 리저보아 샘플링 메커니즘 덕분에 엄격한 오차 한계를 유지하여 예측 가능한 근사 품질을 보장한다.
• 제안된 알고리즘은 파이프라인 모델(Flink)과 배치 모델(Spark Streaming) 모두에 대해 일반적이고 효과적인 것으로 입증되었다.
• 마이크로 벤치마크 및 실제 워크로드 평가를 통해 다양한 데이터 워크로드에서 일관된 성능 향상과 정확도 안정성을 확인했다.
• 결과적으로, 오차가 제한된 근사 스트림 분석이 프로덕션 수준의 스트림 처리 시스템에서 실현 가능하고 효율적임을 입증했다.