[論文レビュー] Pattern Recognition and Event Detection on IoT Data-streams

Christos Karras, Aristeidis Karras+1 more|arXiv (Cornell University)|Mar 2, 2022

Anomaly Detection Techniques and Applications被引用数 13

ひとこと要約

本稿では、O(min(k, n−k))の計算量を実現する重み付きリザーバーサンプリング手法と、リアルタイムでのパターン認識およびIoTデータストリームにおけるイベント検出のための修正k-meansクラスタリング手法を提案する。ストリームデータの代表的サンプルを維持し、二乗誤差和（SSE）を用いてクラスタの品質を評価することで、外れ値としてのイベントを効果的に同定し、SENSORSデータセットにおいて標準k-means、DBSCAN、E-DBSCANを上回る精度、再現率、F-measureを達成した。

ABSTRACT

Big data streams are possibly one of the most essential underlying notions. However, data streams are often challenging to handle owing to their rapid pace and limited information lifetime. It is difficult to collect and communicate stream samples while storing, transmitting and computing a function across the whole stream or even a large segment of it. In answer to this research issue, many streaming-specific solutions were developed. Stream techniques imply a limited capacity of one or more resources such as computing power and memory, as well as time or accuracy limits. Reservoir sampling algorithms choose and store results that are probabilistically significant. A weighted random sampling approach using a generalised sampling algorithmic framework to detect unique events is the key research goal of this work. Briefly, a gradually developed estimate of the joint stream distribution across all feasible components keeps k stream elements judged representative for the full stream. Once estimate confidence is high, k samples are chosen evenly. The complexity is O(min(k,n-k)), where n is the number of items inspected. Due to the fact that events are usually considered outliers, it is sufficient to extract element patterns and push them to an alternate version of k-means as proposed here. The suggested technique calculates the sum of squared errors (SSE) for each cluster, and this is utilised not only as a measure of convergence, but also as a quantification and an indirect assessment of the element distribution's approximation accuracy. This clustering enables for the detection of outliers in the stream based on their distance from the usual event centroids. The findings reveal that weighted sampling and res-means outperform typical approaches for stream event identification. Detected events are shown as knowledge graphs, along with typical clusters of events.

研究の動機と目的

• 高速度で一時的な特徴を持つIoTデータストリームにおけるレアまたは異常なイベントの検出という課題に対処すること。
• 重み付きサンプリングを用いて代表的サブセットを維持することで、リアルタイムストリーム処理における計算およびメモリのオーバーヘッドを低減すること。
• SSEを収束基準および分布近似の正確さの指標として用いることで、ストリームデータに適応したk-meansクラスタリングの改善により、イベント検出の正確性を向上させること。
• 効率的なサンプリングとクラスタリングを通じて、リソース制限のあるIoTエッジデバイスにおけるスケーラブルで低コストなパターン認識を可能にすること。

提案手法

• k個の代表的要素をストリームから確率的有意性を保証しながら選択するための一般化された重み付きランダムサンプリングフレームワークを用いる。
• O(min(k, n−k))の時間計算量を持つリザーバーサンプリングを適用し、固定サイズの代表的ストリームサンプルを維持する。
• SSEを収束基準および分布近似の正確さの指標として用いることで、サンプルデータ上で動作するようにk-meansクラスタリングを修正する。
• k-meansフレームワーク内でのクラスターセンターよりの距離を測定することで、外れ値としてイベントを検出する。
• 解釈可能性を高めるために、知識グラフを用いて検出されたイベントおよび典型的なクラスタを可視化する。
• SENSORSデータセット上で、標準k-means、DBSCAN、E-DBSCANと比較して、精度、再現率、F-measureを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 重み付きリザーバーサンプリングは、最小限の計算コストで高速度のIoTデータストリームの代表的サブセットを効率的に維持できるか？
• RQ2 提案されたres-meansクラスタリング手法は、標準k-meansおよびDBSCANのような密度ベース手法と比較して、イベント検出の正確性をどのように向上させるか？
• RQ3 収束および近似指標としてSSEを用いることで、ストリーミングIoTデータにおける異常イベント検出にどの程度寄与するか？
• RQ4 提案されたシステムは、実世界のIoT環境におけるk値の変動およびデータ分布の変化に対し、効果的にスケーリング可能か？

主な発見

• 提案されたres-means手法はSENSORSデータセットで51.2%の精度、44.8%の再現率、47.7%のF-measureを達成し、標準k-means（30.46 F-measure）、DBSCAN（44.64 F-measure）、E-DBSCAN（51.45 F-measure）を上回った。
• イベント検出において、本手法は「センサーが故障」8.4件、「ノイズが多いデータ送信」12.7件、「間隔が誤り」9.4件、「通信障害」11.2件を検出しており、各カテゴリで次善の手法を上回った。
• リプレースメントありの重み付きサンプリングは、統計的により厳密であるリプレースメントなしの手法よりも優れた計算性能を示した。
• 本システムはスケーラビリティと効率性を示し、大きなk値に対しても低コストの計算と短い処理時間を維持した。
• 知識グラフの統合により、検出されたイベントおよび典型的なクラスタの効果的な可視化が可能となり、解釈性が向上した。
• SSEを分布近似の信頼できる代理指標として用いることで、クラスターセンターよりの距離を測定する手法により、外れ値としてのイベントを効果的に同定した。