[논문 리뷰] Event Correlation and Forecasting over Multivariate Streaming Sensor Data

Vassilis Papataxiarhis, Stathes Hadjiefthymiades|arXiv (Cornell University)|2018. 03. 15.

Data Stream Mining Techniques참고 문헌 24인용 수 3

한 줄 요약

이 논문은 다변량 스트리밍 센서 데이터에서 실시간 이벤트 상관관계 분석 및 예측을 위한 확률적 시간 지능 프레임워크를 제안한다. 온라인 변화 탐지, 동적 규칙 추출, 시간에 따라 변하는 필터링을 통해 숨겨진 시스템 역학을 밝혀낸다. 실제 해양 센서 데이터를 대상으로 평가한 결과, 정적 방법에 비해 이벤트 예측 정확도가 향상되었고, 오래된 규칙 전파가 40% 감소하였다.

ABSTRACT

Event management in sensor networks is a multidisciplinary field involving several steps across the processing chain. In this paper, we discuss the major steps that should be performed in real- or near real-time event handling including event detection, correlation, prediction and filtering. First, we discuss existing univariate and multivariate change detection schemes for the online event detection over sensor data. Next, we propose an online event correlation scheme that intends to unveil the internal dynamics that govern the operation of a system and are responsible for the generation of various types of events. We show that representation of event dependencies can be accommodated within a probabilistic temporal knowledge representation framework that allows the formulation of rules. We also address the important issue of identifying outdated dependencies among events by setting up a time-dependent framework for filtering the extracted rules over time. The proposed theory is applied on the maritime domain and is validated through extensive experimentation with real sensor streams originating from large-scale sensor networks deployed in ships.

연구 동기 및 목표

• 실시간 다변량 센서 스트림에서 이벤트를 탐지하고 상관관계를 분석하며 예측하는 데 도전 과제를 해결하기 위해.
• 확률적 시간 지능 표현 프레임워크를 사용해 복잡한 이벤트 종속성을 모델링하기 위해.
• 시간이 지남에 따라 오래된 이벤트 규칙을 동적으로 필터링하여 장기 예측 신뢰도를 향상시키기 위해.
• 고속 스트리밍 데이터를 포함한 실제 해양 센서 네트워크에서 접근 방식을 검증하기 위해.
• 이벤트 생성을 지배하는 숨겨진 역학을 밝혀내어 시스템 모니터링을 향상시키기 위해.

제안 방법

• 스트리밍 센서 데이터에서 이상치를 식별하기 위해 온라인 단변량 및 다변량 변화 탐지 기법을 적용한다.
• 이벤트 종속성을 시간 인식 규칙으로 모델링하기 위해 확률적 시간 지능 표현을 적용한다.
• 오래된 이벤트 상관관계 규칙을 탐지하고 제거하기 위한 시간에 따라 변하는 필터링 메커니즘을 도입한다.
• 규칙 추출 및 시간적 추론을 통해 다변량 데이터 스트림의 통계적 종속성 기반으로 이벤트를 상관관계화한다.
• 대규모 해양 센서 네트워크의 실제 센서 데이터를 사용하여 프레임워크를 검증한다.
• 시간 논리와 확률적 추론을 활용해 상관관계 패턴을 바탕으로 향후 이벤트를 예측한다.

실험 결과

연구 질문

• RQ1 다변량 스트리밍 센서 데이터는 어떻게 효과적으로 분석하여 실시간 이벤트 탐지 및 상관관계 분석을 수행할 수 있는가?
• RQ2 탐지된 이벤트 간의 시간 종속성을 최적의 방식으로 표현하고 추론하는 방법은 무엇인가?
• RQ3 시간이 지남에 따라 오래되거나 관련성이 없는 이벤트 상관관계 규칙을 자동으로 식별하고 필터링하는 방법은 무엇인가?
• RQ4 제안된 프레임워크는 정적 상관관계 모델에 비해 예측 정확도를 얼마나 향상시키는가?
• RQ5 이 프레임워크는 복잡하고 고속도의 데이터 스트림을 포함한 실제 해양 센서 네트워크에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 프레임워크는 확률적 시간 지능 표현을 통해 다변량 스트리밍 데이터의 복잡한 이벤트 종속성을 성공적으로 모델링한다.
• 시간에 따라 변하는 필터링 메커니즘은 실험 평가에서 오래된 이벤트 규칙 전파를 약 40% 감소시켰다.
• 적응형 규칙 관리 덕분에 동적 환경에서 이벤트 상관관계 정확도가 크게 향상되었다.
• 시스템은 고속도이자 다중 소스 스트림을 포함한 실제 해양 센서 데이터에서 견고한 성능을 보였다.
• 온라인 변화 탐지와 시간 규칙 추론의 통합은 시스템 이벤트의 신뢰할 수 있는 예측을 가능하게 하였다.
• 실제 센서 네트워크에서의 검증을 통해 프레임워크의 확장성과 운영 환경에서의 실용적 적용 가능성이 확인되었다.