[论文解读] Adaptive Anomaly Detection for IoT Data in Hierarchical Edge Computing

Mao V. Ngo, Hakima Chaouchi+2 more|arXiv (Cornell University)|Jan 10, 2020

Anomaly Detection Techniques and Applications参考文献 13被引用 8

一句话总结

该论文提出了一种用于分层边缘计算（HEC）中物联网（IoT）数据的自适应异常检测框架，根据输入数据上下文动态选择三种深度神经网络（DNN）模型——轻量级模型部署于物联网设备，中等复杂度模型部署于边缘服务器，复杂模型部署于云端。该方案被建模为上下文多臂赌博机问题，在保持接近云端准确率的同时，将检测延迟降低了84%，在真实场景评估中实现了性能与延迟的最佳权衡。

ABSTRACT

Advances in deep neural networks (DNN) greatly bolster real-time detection of anomalous IoT data. However, IoT devices can barely afford complex DNN models due to limited computational power and energy supply. While one can offload anomaly detection tasks to the cloud, it incurs long delay and requires large bandwidth when thousands of IoT devices stream data to the cloud concurrently. In this paper, we propose an adaptive anomaly detection approach for hierarchical edge computing (HEC) systems to solve this problem. Specifically, we first construct three anomaly detection DNN models of increasing complexity, and associate them with the three layers of HEC from bottom to top, i.e., IoT devices, edge servers, and cloud. Then, we design an adaptive scheme to select one of the models based on the contextual information extracted from input data, to perform anomaly detection. The selection is formulated as a contextual bandit problem and is characterized by a single-step Markov decision process, with an objective of achieving high detection accuracy and low detection delay simultaneously. We evaluate our proposed approach using a real IoT dataset, and demonstrate that it reduces detection delay by 84% while maintaining almost the same accuracy as compared to offloading detection tasks to the cloud. In addition, our evaluation also shows that it outperforms other baseline schemes.

研究动机与目标

• 解决现有物联网异常检测方法在不考虑数据复杂性的情况下始终使用单一通用模型的局限性。
• 缓解在边缘-IoT系统中过度关注准确率而忽视检测延迟与资源效率的问题。
• 通过基于上下文数据特征的本地决策机制，减少物联网设备与云端之间的不必要的数据传输。
• 在实时物联网应用中实现检测准确率与低延迟响应之间的最优权衡。

提出的方法

• 基于自编码器架构构建了三种逐步复杂的DNN模型——AE-IoT、AE-Edge和AE-Cloud，其参数量和浮点运算量（FLOPs）逐级增加，以匹配物联网、边缘和云端的计算能力。
• 将模型选择过程建模为单步马尔可夫决策过程（MDP）中的上下文多臂赌博机问题，策略网络根据实时输入上下文选择最优模型。
• 设计了一个包含可调超参数α的代价函数，用于平衡准确率与延迟，通过强化学习训练实现权衡优化。
• 从输入数据中提取的上下文特征（如重建误差的logPD）被用作策略网络的输入，以指导模型选择。
• 策略网络通过结合F1分数与检测延迟的奖励函数进行训练，训练过程中最大化总奖励。
• 通过为每个输入选择最轻量级的可行模型，避免将所有数据都卸载至云端，从而减少带宽占用与延迟。

实验结果

研究问题

• RQ1 基于输入数据上下文的动态模型选择策略是否能够改善物联网异常检测中的准确率-延迟权衡？
• RQ2 在检测延迟与准确率方面，与固定卸载或顺序处理相比，跨分层边缘计算层级的自适应模型选择表现如何？
• RQ3 通过上下文多臂赌博机训练的策略网络在多大程度上能够减少边缘-IoT系统中的冗余数据传输与计算开销？
• RQ4 在使用多层HEC架构时，模型复杂度与检测性能之间应如何实现最优平衡？

主要发现

• 所提出的自适应方案相比全云端卸载，将平均检测延迟降低了84%（16.28ms vs. 100.00ms），同时保持了98.90%的准确率。
• 该方案的F1分数达到0.833，优于AE-IoT（0.465）、AE-Edge（0.741）和Successive-4（0.714），仅比AE-Cloud（0.870）低0.037。
• 当α = 0.0025时，该方法获得最高总奖励（49.52），表明其在准确率与延迟之间实现了更优的整体性能平衡。
• 当α ≤ 0.0015时，该方案在保持接近云端准确率（99.18%）的同时，相比仅使用云端检测，延迟降低了40%–60%。
• 无论数据复杂度如何，该自适应方案在F1分数与延迟方面均持续优于所有基线方法，展现出在不同数据难度水平下的鲁棒性。
• 策略网络有效学习到将简单异常路由至边缘设备、复杂异常路由至云端的策略，从而最小化冗余通信与计算。