[논문 리뷰] StreamLearner: Distributed Incremental Machine Learning on Event Streams: Grand Challenge

Christian Mayer, Ruben Mayer외 1명|arXiv (Cornell University)|2017. 06. 26.

Data Stream Mining Techniques참고 문헌 21인용 수 4

한 줄 요약

StreamLearner는 분산 복합 이벤트 처리 시스템으로, 모듈러 API를 통해 CEP에서 기계학습 전문 지식을 분리함으로써 실시간 이벤트 스트림에서 확장 가능하고 증분적인 기계학습을 가능하게 한다. 이 시스템은 증분 K-평균 및 마르코프 모델과 같은 모델의 온라인 학습을 지원하며, 멀티스레드 및 공유 메모리 환경에서 강력한 확장성을 보이며 최대 초당 500건의 이벤트 처리를 달성한다.

ABSTRACT

Today, massive amounts of streaming data from smart devices need to be analyzed automatically to realize the Internet of Things. The Complex Event Processing (CEP) paradigm promises low-latency pattern detection on event streams. However, CEP systems need to be extended with Machine Learning (ML) capabilities such as online training and inference in order to be able to detect fuzzy patterns (e.g., outliers) and to improve pattern recognition accuracy during runtime using incremental model training. In this paper, we propose a distributed CEP system denoted as StreamLearner for ML-enabled complex event detection. The proposed programming model and data-parallel system architecture enable a wide range of real-world applications and allow for dynamically scaling up and out system resources for low-latency, high-throughput event processing. We show that the DEBS Grand Challenge 2017 case study (i.e., anomaly detection in smart factories) integrates seamlessly into the StreamLearner API. Our experiments verify scalability and high event throughput of StreamLearner.

연구 동기 및 목표

• 스마트 기기에서 발생하는 고속도 이벤트 스트림에서 흐린, 변화하는 패턴(예: 이상 현상)을 탐지하는 도전 과제를 해결한다.
• 재학습 없이도 온라인 모델 적응이 가능한 복합 이벤트 처리(CEP)에 증분 기계학습을 통합한다.
• 동적 확장성과 스트리밍 데이터의 저지연 처리를 지원하는 분산형, 데이터 병렬 아키텍처를 설계한다.
• 일반 목적의 API를 통해 기존의 증분 기계학습 알고리즘(예: K-평균, 마르코프 모델)을 CEP 파이프라인에 원활하게 통합할 수 있도록 한다.
• 스마트 제조 환경에서의 실제 이상 탐지 워크로드에 대해 확장성과 높은 처리량을 입증한다.

제안 방법

• 분산 처리 및 증분 모델 업데이트를 추상화하는 모듈러이고 일반 목적의 API를 사용하여 기계학습 학습 및 추론을 CEP 로직에서 분리한다.
• 다중 스레드에서 이벤트 스트림의 데이터 병렬 처리를 가능하게 하는 스플리터, 워커, 머저 컴포넌트로 구성된 파이프라인 아키텍처를 구현한다.
• 신규 이벤트 도착 및 이전 이벤트 만료 시 동적으로 클러스터 중심을 갱신하기 위해 슬라이딩 윈도우 의미 체계를 적용한 증분 K-평균 클러스터링을 적용한다.
• 전이 확률을 계산하고 낮은 확률의 상태 시퀀스를 이상 현상으로 탐지하기 위해 슬라이딩 윈도우를 사용한 마르코프 모델을 사용한다.
• 긴 시퀀스에서 효율성을 향상시키기 위해 정규화를 통해 곱셈 연산 수를 줄여 마르코프 모델의 확률 계산을 최적화한다.
• 머저 컴포넌트에서 타임스탬프 기반 정렬을 통해 출력 일관성을 확보하고, 올바른 스트림 의미 체계를 유지하기 위해 단조로운 이벤트 순서를 유지한다.

실험 결과

연구 질문

• RQ1 증분 기계학습을 실시간 패턴 탐지에 효율적으로 통합하기 위해 분산 복합 이벤트 처리 시스템에 어떻게 접근할 수 있는가?
• RQ2 이벤트 스트림에서 확장 가능하고 데이터 병렬 증분 학습을 지원하기 위해 필요한 아키텍처 및 프로그래밍 모델 추상화는 무엇인가?
• RQ3 기존의 증분 기계학습 알고리즘(예: K-평균, 마르코프 모델)이 저지연 요구 조건을 충족하는 분산 CEP 파이프라인 내에서 얼마나 잘 적응될 수 있는가?
• RQ4 윈도우 크기, 클러스터 수, 워커 스레드 수를 변화시킬 경우 시스템의 처리량과 지연 시간은 어떻게 변화하는가?
• RQ5 제안된 시스템은 동기화 오버헤드를 최소화하면서도 일관된 출력 순서를 유지하면서도 높은 처리량(예: 초당 500건)을 달성할 수 있는가?

주요 결과

• StreamLearner는 DEBS Grand Challenge 2017 데이터셋을 사용한 노트북 시스템에서 최대 절대 처리량으로 초당 500건의 이벤트를 달성한다.
• 노트북에서 스레드 수를 1개에서 9개로 늘릴 경우 처리량이 2.5배 증가하여 중간에서 대규모 윈도우 크기에 대해 강력한 확장성을 보인다.
• 공유 메모리 인프라스트럭처에서 스레드 수를 늘릴 경우 처리량 향상 최대 60%를 관찰했지만, 고밀도 스레드 수에서는 수익 감소 현상이 발생한다.
• 윈도우 크기가 클수록 계산 오버헤드 증가로 인해 처리량 감소가 발생하지만, 스레드 수 증가에 따른 상대적 이점은 윈도우 크가 클수록 증가한다.
• 클러스터 수 증가로 인해 계산 복잡도 증가로 인해 처리량 감소가 발생하지만, 포화점에 도달할 때까지 스레드 수 증가로 처리량 향상이 이루어진다.
• 최적화된 마르코프 모델 확률 계산은 곱셈 연산 수를 $N(W-N)$에서 $N+2(W-N)$로 줄여 장기 전이 시퀀스에 대해 효율성을 향상시킨다.