[论文解读] An Automated Data Engineering Pipeline for Anomaly Detection of IoT Sensor Data

Xinze Li, Baixi Zou|arXiv (Cornell University)|Sep 28, 2021

Anomaly Detection Techniques and Applications参考文献 24被引用 4

一句话总结

本文提出了一种基于混合云边架构的自动化端到端数据工程流水线，用于实时检测物联网传感器数据中的异常。通过利用树莓派、AWS服务（IoT Core、S3、DynamoDB、Lambda、Greengrass）以及机器学习模型（孤立森林、K-means），该系统能够检测到诸如在室内活动期间车库门开启等异常模式，从而实现主动防盗的智能家居安防系统，共检测到55,998起车库数据异常和12,700起卧室数据异常。

ABSTRACT

The rapid development in the field of System of Chip (SoC) technology, Internet of Things (IoT), cloud computing, and artificial intelligence has brought more possibilities of improving and solving the current problems. With data analytics and the use of machine learning/deep learning, it is made possible to learn the underlying patterns and make decisions based on what was learned from massive data generated from IoT sensors. When combined with cloud computing, the whole pipeline can be automated, and free of manual controls and operations. In this paper, an implementation of an automated data engineering pipeline for anomaly detection of IoT sensor data is studied and proposed. The process involves the use of IoT sensors, Raspberry Pis, Amazon Web Services (AWS) and multiple machine learning techniques with the intent to identify anomalous cases for the smart home security system.

研究动机与目标

• 自动化端到端的数据流水线，用于实时物联网传感器数据的异常检测，减少人工干预。
• 设计一种可扩展的、与云集成的架构，支持边缘数据采集、云端处理及模型部署。
• 评估并部署多种机器学习模型（孤立森林、K-means），以识别智能家居环境中的异常行为。
• 通过传感器模式分析检测特定入侵场景，例如在住户室内活动期间车库门开启。
• 展示自动化数据流水线在住宅物联网系统实际安防应用中的可行性。

提出的方法

• 使用搭载嵌入式传感器（加速度计、陀螺仪、磁力计、光照、温湿度）的树莓派设备，在边缘侧实时采集物联网数据。
• 利用AWS IoT Core通过MQTT和LoRaWAN协议实现安全、可扩展的设备到云端通信。
• 将原始和处理后的传感器数据存储在AWS DynamoDB（用于实时访问）和S3（用于长期归档）中，并配置生命周期策略。
• 使用AWS IoT Analytics对时间序列传感器数据进行预处理和增强，以支持模型训练。
• 通过AWS Greengrass在树莓派边缘设备上部署无服务器AWS Lambda函数，直接执行数据摄入和模型推理。
• 采用孤立森林和K-means聚类检测异常，随后通过聚类分析解读异常行为模式。

实验结果

研究问题

• RQ1 如何设计一种自动化、端到端的数据工程流水线，以支持在分布式物联网传感器网络中实现实时异常检测？
• RQ2 哪些云服务与边缘计算组件的组合能够实现可扩展、低延迟且易于维护的物联网数据处理，用于异常检测？
• RQ3 孤立森林和K-means聚类在真实世界智能家居传感器数据中，多大程度上能有效识别出有意义的异常模式？
• RQ4 不同的异常聚类能否语义化地解释为特定现实事件（例如：在室内活动期间车库门开启）？
• RQ5 不同聚类中温度、照度和湿度的特征差异如何帮助识别异常但非威胁性的行为（例如：在灯光开启的卧室工作）？

主要发现

• 该流水线使用孤立森林在车库环境中成功检测出1,119,942个数据点中的55,998起异常，异常主要集中在高照度和高温条件下。
• 对车库数据中的异常进行K-means聚类分析，揭示出四个明显不同的聚类，其中聚类0表现出较高的温度、湿度和照度水平，表明存在车库门开启和空气交换现象。
• 在卧室环境中检测到12,700起异常，聚类2的平均温度和照度值显著升高，与人类存在及设备使用（如电脑、灯光）一致。
• 在照度较低的正常条件下，车库中温度和照度同时升高被解释为潜在入侵的强烈指标，例如在室内活动期间车库门被打开。
• 特征分析确认，异常聚类并非随机分布，而是反映了有意义的真实行为：例如，卧室中高温和高照度表明有人在活动；而车库中升高的温湿度和照度则表明因车门开启导致的环境变化。
• 该系统表明，与AWS服务集成的自动化流水线能够实现实时、可解释的异常检测，适用于智能家居安防应用。