[论文解读] Dempster-Shafer for Anomaly Detection

Qi Chen, Uwe Aickelin|arXiv (Cornell University)|Mar 11, 2008

Network Security and Intrusion Detection参考文献 11被引用 12

一句话总结

本文提出了一种基于Dempster-Shafer证据理论的异常检测系统，通过融合多种信号来提高检测精度。在基准数据集和真实世界电子邮件蠕虫检测任务上的评估表明，该方法通过使用信任函数有效结合多个数据源的证据，相较于单信号方法表现出更优的性能。

ABSTRACT

In this paper, we implement an anomaly detection system using the Dempster-Shafer method. Using two standard benchmark problems we show that by combining multiple signals it is possible to achieve better results than by using a single signal. We further show that by applying this approach to a real-world email dataset the algorithm works for email worm detection. Dempster-Shafer can be a promising method for anomaly detection problems with multiple features (data sources), and two or more classes.

研究动机与目标

• 开发一种能够整合多种异构数据源的鲁棒异常检测框架。
• 评估Dempster-Shafer理论在结合多个信号证据以提升检测性能方面的有效性。
• 在标准基准问题和一个真实世界电子邮件数据集上验证该方法在电子邮件蠕虫检测中的适用性。
• 证明通过信任函数进行多源融合的检测方法优于单信号检测在异常检测任务中的表现。

提出的方法

• 作者应用Dempster-Shafer理论来建模不确定性，并结合来自多个特征或数据源的证据。
• 每个信号或特征提供一个基本概率分配（BPA），以表示其对异常或正常行为的支持程度。
• 该框架使用Dempster的组合规则，将不同来源的BPA合并为一个集体信任结构。
• 然后利用组合后的信任函数计算对异常类别的信任程度，从而实现分类。
• 该方法使用两个标准基准数据集和一个具有已知蠕虫签名的真实世界电子邮件数据集进行评估。
• 将该方法与单信号检测进行对比，以评估多源融合带来的优势。

实验结果

研究问题

• RQ1 Dempster-Shafer理论能否有效结合多个信号以提升异常检测性能？
• RQ2 使用信任函数进行多信号融合与单信号检测相比，在准确性方面表现如何？
• RQ3 Dempster-Shafer方法在真实世界异常检测任务（如电子邮件蠕虫检测）中是否具有良好的泛化能力？
• RQ4 结合多个数据源的证据对异常分类的可靠性有何影响？

主要发现

• 基于Dempster-Shafer的系统在两个基准数据集上的检测性能均优于单信号方法。
• 在电子邮件蠕虫检测任务中，多信号融合显著提高了检测率并降低了误报率。
• 该方法在处理来自多样化数据源的不确定性和冲突证据方面表现出鲁棒性。
• 实证结果证实，通过信任函数结合证据能有效提升整体检测精度。