[论文解读] A Review of Intrusion Detection Systems and Their Evaluation in the IoT

Luca Arnaboldi, C. Morisset|arXiv (Cornell University)|May 17, 2021

Network Security and Intrusion Detection参考文献 86被引用 5

一句话总结

本文回顾了2008年至2018年间51项针对物联网（IoT）的入侵检测系统（IDS）研究，分析了检测技术、评估方法和实现挑战。研究发现，代码共享、数据集标准化和交叉评估方面存在严重不足，呼吁建立统一基准，提升物联网IDS研究的可复现性。

ABSTRACT

Intrusion Detection Systems (IDS) are key components for securing critical infrastructures, capable of detecting malicious activities on networks or hosts. The procedure of implementing a IDS for Internet of Things (IoT) networks is not without challenges due to the variability of these systems and specifically the difficulty in accessing data. The specifics of these very constrained devices render the design of an IDS capable of dealing with the varied attacks a very challenging problem and a very active research subject. In the current state of literature, a number of approaches have been proposed to improve the efficiency of intrusion detection, catering to some of these limitations, such as resource constraints and mobility. In this article, we review works on IDS specifically for these kinds of devices from 2008 to 2018, collecting a total of 51 different IDS papers. We summarise the current themes of the field, summarise the techniques employed to train and deploy the IDSs and provide a qualitative evaluations of these approaches. While these works provide valuable insights and solutions for sub-parts of these constraints, we discuss the limitations of these solutions as a whole, in particular what kinds of attacks these approaches struggle to detect and the setup limitations that are unique to this kind of system. We find that although several paper claim novelty of their approach little inter paper comparisons have been made, that there is a dire need for sharing of datasets and almost no shared code repositories, consequently raising the need for a thorough comparative evaluation.

研究动机与目标

• 分析2008年至2018年物联网入侵检测系统（IDS）的研究现状。
• 识别物联网IDS研究中常用的技术、评估指标和部署策略。
• 调查现有研究中可复现性不足和缺乏交叉评估的原因。
• 强调缺乏共享数据集、代码仓库和标准化评估框架的问题。
• 倡导从开发新型IDS技术转向提升工具可用性、互操作性和可复现性，以推动物联网安全研究的发展。

提出的方法

• 对2008年至2018年间发表的51篇针对物联网系统的IDS论文进行了系统性文献综述。
• 根据实现和评估方法（如仿真、真实测试平台、代码可用性等）将论文分为四类。
• 向84位作者发送了定制化的电子邮件模板，请求获取源代码和数据集。
• 通过结构化的联络活动评估工具的可用性和可用性。
• 分析文献中使用的评估指标，重点关注准确率、误报率以及实际部署的可行性。
• 建议采用Etalle（2019）提出的标准化评估指标，以提升可比性及工具适用性评估。

实验结果

研究问题

• RQ1 2008年至2018年间，物联网IDS研究中主导的检测技术和架构是什么？
• RQ2 由于缺乏共享代码和数据集，现有物联网IDS工具的可复现性程度如何？
• RQ3 尽管研究目标相似，为何不同IDS方法之间的交叉评估极为罕见？
• RQ4 当前物联网IDS评估方法论中的关键局限性是什么，特别是在可用性和实际部署开销方面？
• RQ5 标准化评估框架如何能提升未来物联网IDS解决方案的开发与比较？

主要发现

• 在所审查的51篇IDS论文中，仅有4篇公开了源代码，且仅有一款工具通过公共代码仓库（GitHub）提供访问。
• 在联系的84位作者中，仅有一位回复并提供了代码实现，但该代码未公开共享。
• 绝大多数研究（51篇中的46篇）未提供任何代码或数据集，严重限制了可复现性和对比评估。
• 多数评估依赖于过时或非标准的数据集，许多研究仍在使用近二十年前发布的KDD99数据集。
• 缺乏统一的评估方法论，指标不一致，且对实际可用性和部署开销的关注极少。
• 由于缺乏共享工具和数据集，研究社区在前人工作基础上的进展有限，阻碍了科学的累积性发展。