[论文解读] Anomaly Detection in Big Data

Chandresh Kumar Maurya|arXiv (Cornell University)|Mar 3, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本篇哲学博士论文提出了四种新颖的异常检测算法——PAGMEAN、ASPGD、DSCIL 和 CILSD，用于处理大规模数据中的异常检测问题，通过代价敏感学习、随机优化和分布式框架，有效应对高维性、稀疏性和可扩展性挑战。主要贡献在于在 G-mean 指标上实现性能提升，并在分布式环境中展现出更强鲁棒性，尤其在真实世界数据集和基准数据集（包括 KDDCup 2008）上表现优异。

ABSTRACT

Anomaly is defined as a state of the system that do not conform to the normal behavior. For example, the emission of neutrons in a nuclear reactor channel above the specified threshold is an anomaly. Big data refers to the data set that is \emph{high volume, streaming, heterogeneous, distributed} and often \emph{sparse}. Big data is not uncommon these days. For example, as per Internet live stats, the number of tweets posted per day has gone above 500 millions. Due to data explosion in data laden domains, traditional anomaly detection techniques developed for small data sets scale poorly on large-scale data sets. Therefore, we take an alternative approach to tackle anomaly detection in big data. Essentially, there are two ways to scale anomaly detection in big data. The first is based on the \emph{online} learning and the second is based on the \emph{distributed} learning. Our aim in the thesis is to tackle big data problems while detecting anomaly efficiently. To that end, we first take \emph{streaming} issue of the big data and propose Passive-Aggressive GMEAN (PAGMEAN) algorithms. Although, online learning algorithm can scale well over large number of data points and dimensions, they can not process data when it is distributed at multiple locations; which is quite common these days. Therefore, we propose anomaly detection algorithm which is inherently distributed using ADMM. Finally, we present a case study on anomaly detection in nuclear power plant data.

研究动机与目标

• 解决在传统监督方法因缺乏标签而失效的高维、稀疏和分布式大规模数据中异常检测的挑战。
• 开发可扩展、高效且鲁棒的异常检测算法，以应对类别不平衡和流式数据特性。
• 通过分布式和在线学习框架实现真实世界部署，同时最大限度减少超参数调优。
• 在基准数据集和真实世界数据集（包括核电站和 KDDCup 2008 数据）上评估性能，以证明其实际适用性。

提出的方法

• 通过在被动攻击（PA）框架中集成一个代理损失函数，提出 PAGMEAN，以处理代价敏感学习中的非凸性问题，从而提升 G-mean 性能。
• 提出 ASPGD，一种结合 Nesterov 加速和代价敏感光滑合页损失的随机近端学习算法，适用于流式高维数据。
• 基于分布式 ADMM 框架，结合 L2 正则化代价敏感损失，开发 DSCIL，采用 L-BFGS（L-DSCIL）和随机坐标下降（R-DSCIL）进行优化。
• 提出 CILSD，一种无需参数的分布式 FISTA 类算法，避免学习率调优，通过 Lipschitz 常数自适应调整步长。
• 在真实世界无标签数据（特别是核电站监控）中，采用 SVDD 作为无监督基线模型，以验证无标签条件下的有效性。
• 采用 G-mean、误检率、F-measure 和收敛速度等性能指标，在多个数据集和硬件配置（多核系统）下进行评估。

实验结果

研究问题

• RQ1 在高维、稀疏和分布式大规模数据环境中，如何在最小化标注的前提下实现有效的异常检测？
• RQ2 代价敏感学习是否能在类别不平衡的异常检测任务中提升 G-mean 性能，同时保持较低的误检率？
• RQ3 Nesterov 加速在流式数据在线异常检测中的性能表现如何？
• RQ4 在 ADMM 和 FISTA 等分布式优化框架中，收敛速度、训练时间与 G-mean 之间存在何种权衡？
• RQ5 无需参数调优的分布式算法（如 CILSD）是否能在真实世界异常检测场景中超越调优后的同类算法？

主要发现

• PAGMEAN 在所有基准数据集上的 G-mean 表现优于其基线算法 PA 和 CSOC，尽管其误检率相对较高。
• ASPGD 在多个基准数据集上的 G-mean 和 F-measure 表现优于 CSFSOL，但加速机制并未始终带来性能提升。
• L-DSCIL 收敛速度更快，且 G-mean 接近集中式解决方案；而 R-DSCIL 因随机坐标更新导致性能波动。
• R-DSCIL 在多核系统上展现出实际加速效果和良好可扩展性，训练时间随核心数增加呈对数下降趋势。
• CILSD 在无需学习率调优的情况下实现高 G-mean，收敛速度优于 DSCIL，并在大多数数据集上表现优于或匹配集中式算法。
• 在 KDDCup 2008 数据集上，R-DSCIL 和 CILSD 均展现出在真实世界分布式异常检测中的强大潜力，其中 CILSD 表现更快收敛和更稳定的性能。