[論文レビュー] Anomaly Detection and Redundancy Elimination of Big Sensor Data in Internet of Things

Sai Xie, Zhe Chen|arXiv (Cornell University)|Mar 9, 2017

Anomaly Detection Techniques and Applications参考文献 27被引用数 24

ひとこと要約

本稿では、IoTにおける大規模センサー・データのための2段階の前処理フレームワークを提案する。主な統計分析とベイジアン・ネットワークを組み合わせて異常検出を実施し、静的・動的ベイジアン・ネットワークを用いて冗長性を排除する。SSDRDA（静的センサーデータ冗長性検出アルゴリズム）とRSDRDA（リアルタイムセンサーデータ冗長性検出アルゴリズム）という手法により、冗長ノードの検出において高い正確性を達成しており、RMSEの結果からデータ回復および予測の有効性が裏付けられている。

ABSTRACT

In the era of big data and Internet of things, massive sensor data are gathered with Internet of things. Quantity of data captured by sensor networks are considered to contain highly useful and valuable information. However, for a variety of reasons, received sensor data often appear abnormal. Therefore, effective anomaly detection methods are required to guarantee the quality of data collected by those sensor nodes. Since sensor data are usually correlated in time and space, not all the gathered data are valuable for further data processing and analysis. Preprocessing is necessary for eliminating the redundancy in gathered massive sensor data. In this paper, the proposed work defines a sensor data preprocessing framework. It is mainly composed of two parts, i.e., sensor data anomaly detection and sensor data redundancy elimination. In the first part, methods based on principal statistic analysis and Bayesian network is proposed for sensor data anomaly detection. Then, approaches based on static Bayesian network (SBN) and dynamic Bayesian networks (DBNs) are proposed for sensor data redundancy elimination. Static sensor data redundancy detection algorithm (SSDRDA) for eliminating redundant data in static datasets and real-time sensor data redundancy detection algorithm (RSDRDA) for eliminating redundant sensor data in real-time are proposed. The efficiency and effectiveness of the proposed methods are validated using real-world gathered sensor datasets.

研究の動機と目的

• データの異常および冗長性のため、IoTセンサーデータパイプラインにおける前処理の重要性に対応する。
• 期待されるパターンから逸脱する異常なセンサーリーディングを検出することで、データ品質を向上させる。
• センサーネットワークにおける空間的・時間的冗長データを排除することで、ストレージおよび伝送のオーバーヘッドを削減する。
• センサーデータの動的かつ相関的な性質に適合したバッチ処理およびリアルタイム処理ソリューションを開発する。
• RMSEを指標として用いることで、冗長性検出の実現可能性および正確性を検証する。

提案手法

• 期待されるデータ行動をモデル化することで、主な統計分析とベイジアン・ネットワークを用いて異常を検出する。
• 静的ベイジアン・ネットワーク（SBN）を用いて、事前に収集された静的センサーデータセットにおける冗長ノードを同定する。
• 時間変動型遷移モデルを備えた動的ベイジアン・ネットワーク（DBN）を適用し、リアルタイムのストリーミング・データにおける冗長性を検出する。
• 親ノードの類似度に基づく重み付けを用いたバッチ処理向けのSSDRDA（静的センサーデータ冗長性検出アルゴリズム）を導入する。
• 時間変動型DBNを用いてセンサーノードの状態（起動／スリープ）を予測し、冗長データ生成を特定するリアルタイム処理向けのRSDRDA（リアルタイムセンサーデータ冗長性検出アルゴリズム）を開発する。
• 親ノードの類似度に基づく重み付き平均法を用いて、冗長ノードの欠損データを推定し、予測の正確性をRMSEで評価する。

実験結果

リサーチクエスチョン

• RQ1 時間的および空間的相関が強い大規模かつ多様なIoTデータセットにおいて、どのようにしてセンサーデータの異常を効果的に検出できるか？
• RQ2 静的ベイジアン・ネットワークは、ストリーミングでない事前に収集されたデータセットにおいて、どの程度冗長センサーデータを特定できるか？
• RQ3 動的ベイジアン・ネットワークは、リアルタイムで進化するセンサーデータの挙動をモデル化し、送信前に冗長データ生成を検出できるか？
• RQ4 ベイジアン・ネットワーク構造における親ノードの類似度に基づく重み付き推定を用いた場合、冗長データの予測はどの程度正確か？
• RQ5 RMSEを指標として測定した場合、提案されたアルゴリズムのデータ回復の正確性はどの程度か？

主な発見

• 主な統計とベイジアン・ネットワークに基づく提案された異常検出手法は、従来手法と比較して精度を向上させつつ、高い再現率を維持している。
• SSDRDAは静的データセットにおける冗長ノードの同定に成功しており、変動が小さいため、温度および湿度データではマイクロフォンデータよりも高い冗長性が検出された。
• RSDRDAはリアルタイムでセンサーノードの状態（起動／スリープ）を効果的に予測し、時間変動型DBNモデルを用いた前もっての冗長性検出を可能にした。
• SSDRDA推定法によるデータ回復の平均RMSEは、温度および湿度データの方がマイクロフォンデータよりも低く、滑らかなデータストリームに対して高い予測正確性を示している。
• RSDRDAアルゴリズムはリアルタイムのデータ予測において低RMSEを達成しており、動的環境における実用性と有効性を示している。
• 親ノードの類似度に基づく重み付き推定は、冗長データの再構築に信頼性のある手法を提供しており、定量的なRMSE結果がアルゴリズムの正確性を裏付けている。