[论文解读] A Neural Network-Based On-device Learning Anomaly Detector for Edge Devices

Mineto Tsukada, Masaaki Kondo+1 more|arXiv (Cornell University)|Jul 23, 2019

Anomaly Detection Techniques and Applications参考文献 50被引用 4

一句话总结

本文提出 ONLAD，一种基于神经网络的设备端异常检测器，采用在线顺序极限学习机（OS-ELM）实现在边缘设备上的快速、低功耗序列学习。其可在 FPGA 基础的边缘平台实现无需通信的独立运行，支持实时概念漂移适应，相较于软件基线，训练速度提升 1.95 倍至 6.58 倍，功耗降低 5.0 倍至 25.4 倍。

ABSTRACT

Semi-supervised anomaly detection is an approach to identify anomalies by learning the distribution of normal data. Backpropagation neural networks (i.e., BP-NNs) based approaches have recently drawn attention because of their good generalization capability. In a typical situation, BP-NN-based models are iteratively optimized in server machines with input data gathered from edge devices. However, (1) the iterative optimization often requires significant efforts to follow changes in the distribution of normal data (i.e., concept drift), and (2) data transfers between edge and server impose additional latency and energy consumption. To address these issues, we propose ONLAD and its IP core, named ONLAD Core. ONLAD is highly optimized to perform fast sequential learning to follow concept drift in less than one millisecond. ONLAD Core realizes on-device learning for edge devices at low power consumption, which realizes standalone execution where data transfers between edge and server are not required. Experiments show that ONLAD has favorable anomaly detection capability in an environment that simulates concept drift. Evaluations of ONLAD Core confirm that the training latency is 1.95x~6.58x faster than the other software implementations. Also, the runtime power consumption of ONLAD Core implemented on PYNQ-Z1 board, a small FPGA/CPU SoC platform, is 5.0x~25.4x lower than them.

研究动机与目标

• 解决基于服务器的反向传播神经网络（BP-NNs）在边缘异常检测中的局限性，包括高延迟和通信开销。
• 通过支持快速、序列化的设备端学习，克服边缘环境中概念漂移的挑战。
• 设计一种轻量级、低功耗的硬件加速器（ONLAD Core），实现在资源受限边缘设备上的独立运行。
• 在极低能耗和低延迟下实现高效率的推理与训练，支持实时异常检测。
• 实现在不依赖远程服务器或数据传输的情况下，将半监督异常检测模型部署于边缘设备。

提出的方法

• 提出 ONLAD，一种基于自编码器的半监督异常检测模型，采用在线顺序极限学习机（OS-ELM）实现快速序列学习。
• 针对单批次（批量大小 = 1）训练对 OS-ELM 进行优化，显著降低计算成本，实现毫秒级更新。
• 提出一种基于 FP-ELM 的轻量级遗忘机制，以极低计算开销高效适应概念漂移。
• 将 ONLAD Core 实现为面向 FPGA 平台（如 PYNQ-Z1）的硬件 IP 核，支持低功耗的设备端训练与推理。
• 利用高层次综合（HLS）与 PYNQ 框架协同设计 CPU-FPGA 架构，实现无需外部服务器参与的实时模型更新。
• 将 ONLAD Core 集成至系统中，实现设备端的训练与推理一体化，彻底消除对远程服务器的数据传输。

实验结果

研究问题

• RQ1 ONLAD 是否能在实现设备端序列学习的同时，达到与传统 BP-NNs 相当的异常检测性能？
• RQ2 ONLAD 在真实边缘环境中对概念漂移的适应能力如何？
• RQ3 与基于软件的 BP-NN 和 FP-ELM 实现相比，ONLAD Core 在训练速度和能效方面提升程度如何？
• RQ4 ONLAD Core 是否能高效部署于 PYNQ-Z1 等低功耗 FPGA 平台，且具备实际可用的模型尺寸？
• RQ5 ONLAD 中提出的遗忘机制在速度和对概念漂移的适应性方面是否优于现有方法？

主要发现

• ONLAD 在半监督异常检测中展现出与 BP-NN 基模型相当的泛化能力，尤其在概念漂移条件下表现优异。
• 与 BP-NN 和 FP-ELM 的软件实现相比，ONLAD Core 将训练延迟降低了 1.95 倍至 6.58 倍。
• 在 PYNQ-Z1 上，ONLAD Core 的运行功耗相比软件基线降低了 5.0 倍至 25.4 倍。
• ONLAD 中提出的遗忘机制平均比 FP-ELM 快 3.21 倍，显著提升了概念漂移适应效率。
• ONLAD Core 已成功部署于 PYNQ-Z1 FPGA/CPU SoC 平台，具备实际可用的模型尺寸与低资源占用率。
• 该系统实现了完全独立的设备端执行，无需将数据传输至远程服务器，从而降低了通信延迟与安全风险。