[论文解读] Anomaly Detection and Interpretation using Multimodal Autoencoder and Sparse Optimization

Yasuhiro Ikeda, Keisuke Ishibashi+3 more|arXiv (Cornell University)|Dec 18, 2018

Anomaly Detection Techniques and Applications参考文献 19被引用 9

一句话总结

本文提出了一种多模态自编码器（MAE）和基于稀疏优化的方法，用于检测和解释跨领域ICT系统数据中的异常。MAE能够学习异构数据类型（如MIB、流量、syslog）之间的非线性关系，而稀疏优化则识别出导致局部异常的最小贡献输入维度集合，显著提升了传统自编码器和PCA在真实世界及基准数据集上的可解释性和检测准确率。

ABSTRACT

Automated anomaly detection is essential for managing information and communications technology (ICT) systems to maintain reliable services with minimum burden on operators. For detecting varying and continually emerging anomalies as differences from normal states, learning normal relationships inherent among cross-domain data monitored from ICT systems is essential. Deep-learning-based anomaly detection using an autoencoder (AE) is therefore promising for such complicated learning; however, its interpretation is still problematic. Since the dimensions of the input data contributing to the detected anomaly are not directly indicated in an AE, they are not suitable for localizing anomalies in large ICT systems composed of a huge amount of equipment. We propose an algorithm using sparse optimization for estimating contributing dimensions to anomalies detected with AEs. We also propose a multimodal AE (MAE) for effectively learning the relationships among cross-domain data, which can induce nonlinearity and differences in learnability among data types. We evaluated our algorithms with several datasets including real measured data in comparison with conventional algorithms and confirmed the superiority of our estimation algorithm in specifying contributing dimensions of anomalous data and our MAE in detecting anomalies in cross-domain data.

研究动机与目标

• 解决大型ICT系统中自编码器无法识别贡献输入维度的异常定位挑战。
• 通过建模非线性和异构关系，提升跨领域数据（如MIB、流量、syslog）中的异常检测能力。
• 开发一种方法，通过估计导致异常的最小输入特征集合，实现对检测到异常的解释。
• 在真实测量数据和基准数据集上评估所提方法，证明其优于传统自编码器和PCA方法。

提出的方法

• 设计了一种多模态自编码器（MAE），通过分别预训练各模态并微调共享的瓶颈层，学习来自异构数据类型（MIB、流量、syslog）的联合表示。
• 对自编码器的重构误差应用稀疏优化，以识别导致异常的最小输入维度集合，促进贡献向量的稀疏性。
• 在MAE中使用加权均方误差（wMSE）损失，以归一化不同类型数据间的尺度差异，提升对低方差模态（如syslog）中异常的敏感性。
• 通过重构误差的基于梯度的分析计算各输入维度的贡献度，并利用L1正则化强制实现稀疏性。
• 使用真实网络数据和基准数据集对方法进行评估，与标准自编码器和PCA对比检测与定位性能。

实验结果

研究问题

• RQ1 多模态自编码器能否有效学习ICT系统中异构跨领域数据之间的复杂非线性关系？
• RQ2 稀疏优化能否准确识别出导致检测到异常的最小输入维度集合，从而实现有效的异常定位？
• RQ3 所提出的MAE是否在检测多样化数据类型（尤其是低方差模态如syslog）中的异常方面优于标准自编码器和PCA？
• RQ4 与基于规则或传统学习方法相比，所提方法在真实世界网络故障场景下的表现如何？

主要发现

• 所提出的稀疏优化方法在识别贡献维度方面优于基于重构误差的估计方法，实现了大型ICT系统中异常的精确定位。
• 在真实网络数据中，MAE检测到20起故障中的10起，而标准自编码器和PCA仅检测到9起，其中8起故障仅由MAE检测到，归因于其对syslog异常更高的敏感性。
• 故障#7（SAP端口状态变更）被MAE检测到，但未被标准自编码器或PCA检测到，证明MAE通过预训练和wMSE归一化，能够有效检测低方差模态中的异常。
• 该方法成功定位了如TCP SYN洪水攻击（通过流量数据）和ping检查失败（通过MIB流量体积）等异常，其贡献度与运维人员验证的根因一致。
• 对于检测并验证的故障，MAE的真正例率（TPR）为0.5，而标准自编码器和PCA为0.45，表明检测可靠性有所提升。
• 该方法减少了对人工制定阈值的依赖——在一个用例中，将1,141个基于规则的阈值替换为单一正常状态训练阶段和单一MSE阈值。