[论文解读] An AI-driven Malfunction Detection Concept for NFV Instances in 5G

Julian Ahrens, Mathias Strufe+2 more|arXiv (Cornell University)|Apr 16, 2018

Software-Defined Networks and 5G参考文献 4被引用 6

一句话总结

本文提出了一种基于自编码器和归一化特征变换的半监督AI驱动异常检测框架，用于5G网络中的NFV实例，可检测内存泄漏等故障。该系统通过分析正常行为特征，在检测到偏差时自动触发回滚，实现在受控测试环境中对合成故障的稳健检测。

ABSTRACT

Efficient network management is one of the key challenges of the constantly growing and increasingly complex wide area networks (WAN). The paradigm shift towards virtualized (NFV) and software defined networks (SDN) in the next generation of mobile networks (5G), as well as the latest scientific insights in the field of Artificial Intelligence (AI) enable the transition from manually managed networks nowadays to fully autonomic and dynamic self-organized networks (SON). This helps to meet the KPIs and reduce at the same time operational costs (OPEX). In this paper, an AI driven concept is presented for the malfunction detection in NFV applications with the help of semi-supervised learning. For this purpose, a profile of the application under test is created. This profile then is used as a reference to detect abnormal behaviour. For example, if there is a bug in the updated version of the app, it is now possible to react autonomously and roll-back the NFV app to a previous version in order to avoid network outages.

研究动机与目标

• 应对由于人工网络维护和日益增加的复杂性导致的5G网络运营成本（OPEX）上升问题。
• 通过在无需完全监督的情况下检测应用层故障，实现在基于NFV的5G网络中的自主自愈。
• 利用半监督学习开发一种可扩展、自适应的异常检测系统，以减少误报并提高检测准确性。
• 将检测机制集成到SELFNET自组织网络管理框架中，实现实时响应。
• 展示基于AI的回滚在检测到异常（如虚拟化防火墙中的内存泄漏）时的可行性。

提出的方法

• 使用来自NFV实例的正常运行指标训练数据集进行半监督学习。
• 应用一种专门的归一化技术，通过修改的经验累积分布函数和反误差函数，将每个特征映射到标准正态分布。
• 训练具有不同架构和学习率的自编码器集合，以建模正常行为并重构输入数据。
• 计算重构误差（平方欧几里得距离）作为每个数据点的异常评分。
• 应用阈值策略：若某个数据点的重构成本超过编码器平均验证成本的β倍，则标记为可疑。
• 若超过α个选定的自编码器将某数据点标记为可疑，则将其分类为异常。

实验结果

研究问题

• RQ1 在无需完全标注异常数据的情况下，半监督学习能否有效检测NFV实例中的异常？
• RQ2 使用归一化输入特征的自编码器在检测虚拟化网络功能中的合成内存泄漏方面表现如何？
• RQ3 何种阈值策略可确保低误报率的同时保持高异常检测灵敏度？
• RQ4 该系统能否通过实时识别故障NFV实例来支持自动回滚？
• RQ5 与单个模型相比，自编码器集合如何提升系统的鲁棒性？

主要发现

• 所提出的半监督方法在仅运行几分钟后即成功检测到虚拟化防火墙中的合成内存泄漏，内存使用率在数分钟内接近100%。
• 归一化技术有效将非正态特征分布转换为标准正态分布，提升了模型稳定性与重构准确性。
• 自编码器集合的表现优于单个模型，通过降低对噪声的敏感性并提升在未见数据上的泛化能力，增强了鲁棒性。
• 基于相对重构成本（β倍验证平均值）的阈值机制实现了低误报率的可靠异常检测。
• 该系统在受控的5G NFV测试环境中展示了自主故障检测与潜在回滚的可行性。
• 该框架具有可扩展性：可在检测后将新的正常行为模式添加到训练集中，以减少误报并适应不断变化的网络状态。