[논문 리뷰] Pattern Recognition and Event Detection on IoT Data-streams

Christos Karras, Aristeidis Karras외 1명|arXiv (Cornell University)|2022. 03. 02.

Anomaly Detection Techniques and Applications인용 수 13

한 줄 요약

이 논문은 O(min(k, n−k)) 복잡도를 가지는 가중 침전 샘플링 기법과 실시간 IoT 데이터 스트림에서의 패턴 인식 및 사고 감지를 위한 수정된 k-means 군집화 방법을 제안한다. 스트림 데이터의 대표 샘플을 유지하고, 제곱합 오차(SSE)를 사용해 군집 품질을 평가함으로써, 이상치를 사고로 효과적으로 식별한다. 이 방법은 SENSORS 데이터셋에서 표준 k-means, DBSCAN, E-DBSCAN보다 정밀도, 재현도, F-측정치에서 뛰어난 성능을 보였다.

ABSTRACT

Big data streams are possibly one of the most essential underlying notions. However, data streams are often challenging to handle owing to their rapid pace and limited information lifetime. It is difficult to collect and communicate stream samples while storing, transmitting and computing a function across the whole stream or even a large segment of it. In answer to this research issue, many streaming-specific solutions were developed. Stream techniques imply a limited capacity of one or more resources such as computing power and memory, as well as time or accuracy limits. Reservoir sampling algorithms choose and store results that are probabilistically significant. A weighted random sampling approach using a generalised sampling algorithmic framework to detect unique events is the key research goal of this work. Briefly, a gradually developed estimate of the joint stream distribution across all feasible components keeps k stream elements judged representative for the full stream. Once estimate confidence is high, k samples are chosen evenly. The complexity is O(min(k,n-k)), where n is the number of items inspected. Due to the fact that events are usually considered outliers, it is sufficient to extract element patterns and push them to an alternate version of k-means as proposed here. The suggested technique calculates the sum of squared errors (SSE) for each cluster, and this is utilised not only as a measure of convergence, but also as a quantification and an indirect assessment of the element distribution's approximation accuracy. This clustering enables for the detection of outliers in the stream based on their distance from the usual event centroids. The findings reveal that weighted sampling and res-means outperform typical approaches for stream event identification. Detected events are shown as knowledge graphs, along with typical clusters of events.

연구 동기 및 목표

• 고속의, 수명이 짧은 IoT 데이터 스트림에서 희귀하거나 이례적인 사고를 탐지하는 데 도전하는 것.
• 가중 샘플링을 사용해 데이터의 대표 부분집합을 유지함으로써 실시간 스트림 처리에서 계산 및 메모리 오버헤드를 줄이는 것.
• SSE를 수렴 기준과 분포 근사 정확도 측정 기준으로 사용해 스트림 데이터에 적응하는 k-means 군집화를 수정함으로써 사고 감지 정확도를 향상시키는 것.
• 효율적 샘플링과 군집화를 통해 자원이 제한된 IoT 엣지 장치에서 확장 가능하고 저비용의 패턴 인식을 가능하게 하는 것.

제안 방법

• 확장된 가중 무작위 샘플링 프레임워크를 사용해 스트림에서 k개의 대표 요소를 선택함으로써 확률적 중요성을 보장한다.
• O(min(k, n−k)) 시간 복잡도를 가진 침전 샘플링을 적용해 고정 크기의 대표 샘플을 스트림 유지를 유지한다.
• SSE를 수렴 조건과 분포 근사 정확도 측정 기준으로 사용해 샘플 데이터에서 작동하는 수정된 k-means 군집화를 적용한다.
• k-means 프레임워크 내에서 군집 중심에서의 거리를 측정함으로써 이상치로 사고를 탐지한다.
• 의미 해석 가능성을 높이기 위해 지식 그래프를 사용해 탐지된 사고와 일반적인 군집을 시각화한다.
• 정밀도, 재현도, F-측정치를 사용해 SENSORS 데이터셋에서 표준 k-means, DBSCAN, E-DBSCAN과의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 가중 침전 샘플링는 계산 비용을 최소화하면서도 고속 IoT 데이터 스트림에서 대표적인 부분집합을 효율적으로 유지할 수 있는가?
• RQ2 제안된 res-means 군집화 방법은 표준 k-means 및 밀도 기반 방법인 DBSCAN에 비해 사고 감지 정확도를 얼마나 향상시키는가?
• RQ3 SSE를 수렴 및 근사 정확도 측정 기준으로 사용할 경우, 스트리밍 IoT 데이터에서 이례적인 사고 탐지에 얼마나 기여하는가?
• RQ4 실제 IoT 환경에서 k 값의 변화와 데이터 분포의 이동에 대해 제안된 시스템은 얼마나 효과적으로 확장 가능한가?

주요 결과

• 제안된 res-means 방법은 SENSORS 데이터셋에서 51.2%의 정밀도, 44.8%의 재현도, 47.7%의 F-측정치를 달성했으며, 표준 k-means(30.46 F-측정치), DBSCAN(44.64 F-측정치), E-DBSCAN(51.45 F-측정치)를 모두 초월했다.
• 사고 감지에서 제안된 방법은 '센서 고장', '노이즈 있는 데이터 전송', '틀린 간격', '통신 문제' 각각 8.4건, 12.7건, 9.4건, 11.2건을 탐지했으며, 각 범주에서 다음으로 우수한 방법보다 높은 성능을 보였다.
• 치환을 허용한 가중 샘플링 방법은 통계적으로 더 엄밀한 치환을 허용하지 않는 방법보다 더 뛰어난 계산 성능을 보였다.
• 시스템은 확장성과 효율성을 입증했으며, 큰 k 값에서도 낮은 계산 비용과 짧은 처리 시간을 유지했다.
• 지식 그래프 통합을 통해 탐지된 사고와 일반적인 군집을 효과적으로 시각화해 의미 해석 가능성을 향상시켰다.
• SSE를 분포 근사의 신뢰할 수 있는 대체 지표로 활용함으로써 군집 중심에서의 거리를 측정함으로써 이상치를 사고로 효과적으로 식별하는 데 성공했다.