[论文解读] Exploring Edge TPU for Network Intrusion Detection in IoT

Seyedehfaezeh Hosseininoorbin, Siamak Layeghy+3 more|arXiv (Cornell University)|Mar 30, 2021

Network Security and Intrusion Detection被引用 7

一句话总结

本文评估了在物联网边缘部署基于深度学习的网络入侵检测系统（NIDS）时，Google的Edge TPU与ARM Cortex-A53 CPU在推理时间、能效和分类性能方面的表现。令人惊讶的是，对于极小的模型，Cortex-A53的表现优于Edge TPU；而当模型超过临界大小时，Edge TPU则表现出色——具体而言，当模型超过片上内存容量时，揭示出一种双峰性能行为，这对边缘AI部署决策至关重要。

ABSTRACT

This paper explores Google's Edge TPU for implementing a practical network intrusion detection system (NIDS) at the edge of IoT, based on a deep learning approach. While there are a significant number of related works that explore machine learning based NIDS for the IoT edge, they generally do not consider the issue of the required computational and energy resources. The focus of this paper is the exploration of deep learning-based NIDS at the edge of IoT, and in particular the computational and energy efficiency. In particular, the paper studies Google's Edge TPU as a hardware platform, and considers the following three key metrics: computation (inference) time, energy efficiency and the traffic classification performance. Various scaled model sizes of two major deep neural network architectures are used to investigate these three metrics. The performance of the Edge TPU-based implementation is compared with that of an energy efficient embedded CPU (ARM Cortex A53). Our experimental evaluation shows some unexpected results, such as the fact that the CPU significantly outperforms the Edge TPU for small model sizes.

研究动机与目标

• 评估在资源受限的物联网边缘设备上部署基于深度学习的NIDS的可行性。
• 研究在Edge TPU和通用嵌入式CPU上，推理速度、能效和检测准确率之间的权衡。
• 确定在物联网安全工作负载中，于Edge TPU上实现高效部署的最优模型大小和神经网络架构。
• 识别Edge TPU的性能瓶颈，特别是与片上内存限制相关的瓶颈。

提出的方法

• 本研究在缩放后的模型尺寸下，实现了两种深度神经网络架构——前馈网络和卷积神经网络（CNN）——用于NIDS。
• 神经网络模型在公开的物联网基准数据集上进行训练和评估，以衡量入侵检测性能。
• 在Edge TPU和ARM Cortex-A53平台上执行推理，性能通过推理时间、能耗和分类准确率进行测量。
• 系统性地改变模型尺寸，以探究模型复杂度对硬件效率的影响，特别是在8000 KiB片上内存阈值附近。
• 能效通过分类性能与能耗的比值计算，实现跨平台比较。
• 通过观察当模型参数超过片上内存容量、需访问片外内存时的性能变化，分析Edge TPU的双峰行为。

Figure 1: The feed forward neural network architecture

实验结果

研究问题

• RQ1 在NIDS中，对于小型和大型深度学习模型，Edge TPU的推理时间与ARM Cortex-A53相比如何？
• RQ2 在不同模型尺寸下，Edge TPU与Cortex-A53的能效表现如何？
• RQ3 Edge TPU在能效和推理速度方面何时开始超越Cortex-A53？
• RQ4 Edge TPU的片上内存容量如何影响其性能？当需要访问片外内存时，效率下降的临界阈值是多少？
• RQ5 神经网络架构的选择（前馈网络与CNN）是否显著影响Edge TPU上的性能和能效？

主要发现

• 对于极小的模型尺寸，ARM Cortex-A53在推理时间和能效方面均优于Edge TPU，与预期相反。
• 当模型尺寸超过约8000 KiB（即片上内存容量）时，Edge TPU的能效优于Cortex-A53。
• 超过8000 KiB的临界阈值后，Edge TPU的相对性能优势因片外内存访问增加而减弱，揭示出双峰性能行为。
• 在所有模型尺寸下，CNN架构在Edge TPU上的能效均比前馈架构高8至10倍。
• 在两个平台上，随着模型尺寸增大，能效均下降，但Edge TPU在大模型上仍保持显著优势。
• Edge TPU的性能对相对于片上内存的模型尺寸极为敏感，表明必须仔细调整模型尺寸以实现最优部署。

Figure 2: The convolutional neural network (CNN) architecture