[论文解读] Bayesian Anomaly Detection and Classification

Ethan Roberts, Bruce A. Bassett+1 more|arXiv (Cornell University)|Feb 22, 2019

Anomaly Detection Techniques and Applications参考文献 22被引用 11

一句话总结

本文提出贝叶斯异常检测与分类（BADAC），一种分层贝叶斯框架，可联合执行分类与异常检测，并严格传播测量不确定性。当噪声模型已知时，BADAC在两项任务中均优于标准算法，生成校准良好的概率，并在模型误设或存在相关噪声的情况下仍能实现稳健检测。

ABSTRACT

Statistical uncertainties are rarely incorporated in machine learning algorithms, especially for anomaly detection. Here we present the Bayesian Anomaly Detection And Classification (BADAC) formalism, which provides a unified statistical approach to classification and anomaly detection within a hierarchical Bayesian framework. BADAC deals with uncertainties by marginalising over the unknown, true, value of the data. Using simulated data with Gaussian noise, BADAC is shown to be superior to standard algorithms in both classification and anomaly detection performance in the presence of uncertainties, though with significantly increased computational cost. Additionally, BADAC provides well-calibrated classification probabilities, valuable for use in scientific pipelines. We show that BADAC can work in online mode and is fairly robust to model errors, which can be diagnosed through model-selection methods. In addition it can perform unsupervised new class detection and can naturally be extended to search for anomalous subsets of data. BADAC is therefore ideal where computational cost is not a limiting factor and statistical rigour is important. We discuss approximations to speed up BADAC, such as the use of Gaussian processes, and finally introduce a new metric, the Rank-Weighted Score (RWS), that is particularly suited to evaluating the ability of algorithms to detect anomalies.

研究动机与目标

• 开发一种统计上严谨的方法，实现对数据测量不确定性的充分考虑，同时完成分类与异常检测。
• 生成适合用于需要不确定性传播的科学分析流程的校准良好的分类概率。
• 在无需预先标注的情况下检测新型或异常类别，支持无监督异常发现。
• 解决现有方法忽略类内差异性或未能正确建模数据不确定性的局限性。
• 提供一种在模型错误下仍具鲁棒性的框架，并可通过模型选择技术诊断此类错误。

提出的方法

• BADAC 采用分层贝叶斯模型，其中类别条件似然函数基于原始数据定义，通过已知噪声分布对未知真实值进行边缘化处理。
• 通过整合观测数据所有可能的真实值，计算类别归属的后验概率与异常评分，从而整合测量不确定性。
• 该方法基于高斯噪声模型构建似然函数，并可扩展以处理相关误差及如平移偏移等干扰参数。
• 通过计算对象属于所有已知类别之外的后验概率对异常对象进行排序，实现无需预设阈值的异常检测。
• 该框架支持在线推断，并可通过高斯过程或原型模板加速，以降低计算成本。
• 提出一种新评估指标——排名加权得分（RWS），通过奖励异常对象的正确排序来评估异常检测性能。

实验结果

研究问题

• RQ1 是否能够通过统一的贝叶斯框架，在正确传播测量不确定性的同时，实现准确的分类与稳健的异常检测？
• RQ2 在已知噪声模型的条件下，BADAC 相较于随机森林、IsolationForest 和 LOF 等标准算法表现如何？
• RQ3 当存在非高斯或相关噪声时，BADAC 的性能退化程度如何？
• RQ4 BADAC 是否能够生成适合用于科学分析流程的校准良好的分类概率？
• RQ5 BADAC 在无监督条件下检测新型类别的有效性如何？

主要发现

• 当正确噪声模型已知时，BADAC 在分类任务中优于随机森林，在异常检测任务中优于 IsolationForest 和 LOF，其优势源于对不确定性的合理利用。
• 对于类似噪声脉冲的紧凑型异常，BADAC 的性能与 LOF 相当，且优于 IsolationForest。
• BADAC 生成了校准良好的分类概率，这对在需要不确定性传播的科学分析流程中实现可靠应用至关重要。
• 即使在非高斯或相关噪声条件下，BADAC 仍保持较强的异常检测性能，尽管分类准确率下降，尤其在相关噪声情况下更为明显。
• 当噪声模型错误时，BADAC 的概率校准会失效，但可通过将真实噪声结构纳入似然函数中加以纠正。
• 该方法计算成本较高，难以扩展至大规模数据集，但可通过高斯过程或基于模板的近似方法实现加速。