[논문 리뷰] MacroBase: Analytic Monitoring for the Internet of Things

Peter Bailis, Deepak Narayanan외 1명|arXiv (Cornell University)|2016. 03. 02.

Anomaly Detection Techniques and Applications참고 문헌 81인용 수 6

한 줄 요약

MacroBase는 실시간으로 통계적으로 정보를 제공하는 모니터링을 가능하게 하는 스트리밍 분석 엔진으로, 이상 탐지 및 설명 연산자를 결합하여 IoT 데이터 스트림의 실시간 모니터링을 지원합니다. 단일 코어에서 최대 초당 200만 건의 이벤트를 처리할 수 있으며, 비스트리밍 대안 대비 수십 배의 성능 향상을 이룹니다. 이는 대규모 IoT 구현 환경에서의 프로덕션 수준의 모니터링을 가능하게 합니다.

ABSTRACT

An increasing proportion of data today is generated by automated processes, sensors, and devices---collectively, the Internet of Things (IoT). IoT applications' rising data volume, demands for time-sensitive analysis, and heterogeneity exacerbate the challenge of identifying and highlighting important trends in IoT deployments. In response, we present MacroBase, a data analytics engine that performs statistically-informed analytic monitoring of IoT data streams by identifying deviations within streams and generating potential explanations for each. MacroBase is the first analytics engine to combine streaming outlier detection and streaming explanation operators, allowing cross-layer optimizations that deliver order-of-magnitude speedups over existing, primarily non-streaming alternatives. As a result, MacroBase can deliver accurate results at speeds of up to 2M events per second per query on a single core. MacroBase has delivered meaningful analytic monitoring results in production, including an IoT company monitoring hundreds of thousands of vehicles.

연구 동기 및 목표

• 실시간으로 처리해야 하는 고용량, 시간 민감도가 높고 이질적인 IoT 데이터 스트림을 모니터링하는 데 발생하는 점점 커지는 과제를 해결하기 위해.
• 운영 문제나 이질적인 현상을 시사하는 IoT 데이터 스트림 내 의미 있는 이탈을 식별하기 위해.
• 검출된 이상 현상에 대해 실행 가능한, 데이터 기반의 설명을 생성하여 신속한 진단을 지원하기 위해.
• 이상 탐지 및 설명을 통합한 유일한 교차 계층 파이프라인으로 스트리밍 분석을 최적화하기 위해.
• 복잡한 IoT 환경에서의 프로덕션 배포에 적합한 대규모에서 고성능 분석을 제공하기 위해.

제안 방법

• MacroBase는 낮은 지연 시간을 통해 실시간으로 데이터를 처리하는 스트리밍 아키텍처를 사용하여 고속도의 IoT 데이터 스트림에 대한 지속적인 모니터링을 가능하게 합니다.
• 데이터 스트림에서 예상 패턴과의 이탈을 식별하기 위해 통계적 이상 탐지 기법을 적용합니다.
• 시스템은 스트리밍 설명 연산자를 사용하여 검출된 이상 현상에 대해 인간이 이해할 수 있는 가설을 생성하며, 이격된 현상과 잠재적 원인을 연결합니다.
• 탐지 및 설명 컴포넌트 간의 교차 계층 최적화로 지연 시간을 감소시키고 처리량을 향상시켜 고속 처리를 가능하게 합니다.
• 엔진은 효율적으로 확장되도록 설계되어 단일 CPU 코어에서 초당 최대 200만 건의 이벤트를 처리할 수 있습니다.
• MacroBase는 IoT 구현 환경에서 일반적인 이질적인 데이터 소스와 동적 쿼리 워크로드를 지원합니다.

실험 결과

연구 질문

• RQ1 IoT 워크로드를 위한 스트리밍 분석 파이프라인에서 이상 탐지와 이상 설명을 효율적으로 통합할 수 있는가?
• RQ2 스트리밍 시스템에 탐지 및 설명 연산자를 통합함으로써 달성할 수 있는 성능 향상은 무엇인가?
• RQ3 하이퍼버스트 속도의 IoT 데이터 스트림을 밀리초 이내의 지연 시간으로 처리하고 높은 정확도를 확보할 수 있는가?
• RQ4 실제 IoT 환경에서의 구현에서 시스템은 의미 있는 이상을 효과적으로 식별하고 설명할 수 있는가?
• RQ5 비스트리밍 대안 대비 수십 배의 성능 향상을 가능하게 하는 아키텍처 최적화는 무엇인가?

주요 결과

• MacroBase는 단일 코어에서 최대 초당 200만 건의 이벤트를 처리하여 높은 처리량과 낮은 지연 시간을 입증합니다.
• 스트리밍 이상 탐지 및 설명 연산자의 통합은 비스트리밍 시스템 대비 수십 배의 성능 향상을 이끌어내는 교차 계층 최적화를 가능하게 합니다.
• 시스템은 프로덕션 환경에서 실행 가능한 분석 모니터링 결과를 성공적으로 제공하였으며, IoT 구현에서 수십만 대의 차량을 모니터링한 바 있습니다.
• MacroBase는 복잡하고 이질적인 IoT 데이터 스트림에서 의미 있는 이탈을 효과적으로 식별하고 설명하여 빠른 진단을 지원합니다.
• 엔진의 아키텍처는 최소한의 지연 시간으로 대규모 IoT 애플리케이션에 대한 확장 가능한 실시간 모니터링을 가능하게 합니다.
• MacroBase의 성능와 정확도는 임무 핵심적이고 시간 민감도가 높은 IoT 모니터링 워크로드에 적합합니다.