[论文解读] Estimating the Contamination Factor's Distribution in Unsupervised Anomaly Detection

Lorenzo Perini, Paul Buerkner+1 more|arXiv (Cornell University)|Oct 19, 2022

Anomaly Detection Techniques and Applications被引用 9

一句话总结

该论文提出 $\gamma$GMM，这是首个用于在无监督异常检测中估计污染因子 $\gamma$ 后验分布的贝叶斯方法。通过利用多个异常检测器构建基于得分的表征，并拟合狄利克雷过程高斯混合模型（DPGMM），该方法估计最极端成分联合异常的概率，从而实现不确定性感知的阈值设定，其检测准确率优于21种基线方法。

ABSTRACT

Anomaly detection methods identify examples that do not follow the expected behaviour, typically in an unsupervised fashion, by assigning real-valued anomaly scores to the examples based on various heuristics. These scores need to be transformed into actual predictions by thresholding, so that the proportion of examples marked as anomalies equals the expected proportion of anomalies, called contamination factor. Unfortunately, there are no good methods for estimating the contamination factor itself. We address this need from a Bayesian perspective, introducing a method for estimating the posterior distribution of the contamination factor of a given unlabeled dataset. We leverage on outputs of several anomaly detectors as a representation that already captures the basic notion of anomalousness and estimate the contamination using a specific mixture formulation. Empirically on 22 datasets, we show that the estimated distribution is well-calibrated and that setting the threshold using the posterior mean improves the anomaly detectors' performance over several alternative methods. All code is publicly available for full reproducibility.

研究动机与目标

• 为解决无监督异常检测中污染因子 $\gamma$ 估计方法的缺失问题，这是实际部署中一个关键但被忽视的挑战。
• 将污染因子估计建模为贝叶斯推断问题，实现在无标签情况下的不确定性量化。
• 开发一种方法，生成 $\gamma$ 的良好校准后验分布，以用于异常得分的阈值设定。
• 通过使用 $\gamma$ 的后验均值作为稳健且具备不确定性感知的阈值，提升异常检测性能。
• 证明不确定性感知的阈值设定可实现比现有启发式或点估计方法更高的检测准确率。

提出的方法

• 使用多个无监督异常检测器将原始数据转换为得分空间，构建异常程度的高层表征。
• 在得分空间中拟合具有狄利克雷过程先验的贝叶斯高斯混合模型（DPGMM），以建模异常得分的底层分布。
• 根据得分空间中成分的极端程度对混合成分进行排序，优先考虑均值较高且方差较低的成分。
• 基于 $p_0$ 和 $p_{\text{high}}$ 的双参数变换，估计最极端的 $k$ 个成分联合异常的概率。
• 将污染因子 $\gamma$ 的后验分布构建为最极端成分权重之和，对成分分配进行边缘化处理。
• 使用 $\gamma$ 的后验均值作为将异常得分转换为离散预测的阈值，从而提升检测性能。

实验结果

研究问题

• RQ1 我们能否在无标签的无监督设定下，估计污染因子 $\gamma$ 的后验分布？
• RQ2 对 $\gamma$ 估计的不确定性在多大程度上能转化为更优的阈值设定与检测性能？
• RQ3 该方法对超参数 $p_0$ 和 $p_{\text{high}}$ 的变化有多大的鲁棒性？
• RQ4 $\gamma$ 的后验分布是否在多样化的现实世界数据集中具有良好的校准性？
• RQ5 与标准估计器相比，使用 $\gamma$ 的后验均值作为阈值是否能提升检测准确率？

主要发现

• 在22个基准数据集上，$\gamma$GMM 估计的 $\gamma$ 后验均值在检测准确率上优于21种基线方法。
• 该方法实现了近乎完美的校准，经验频率在广泛的数据集范围内与预期概率高度一致。
• $\gamma$ 的后验分布通常较宽且呈多峰，反映出污染估计中真实的不确定性。
• 该方法对超参数选择具有鲁棒性：$p_0$ 的影响极小，而 $p_{\text{high}}$ 虽略微影响校准性，但不影响性能。
• $\gamma$GMM 后验均值估计的平均绝对误差（MAE）在不同超参数配置下介于 0.252（最优）至 0.320（最差）之间，表明性能稳定。
• 与固定阈值或统计估计器（如 MTT 和 IQR）相比，使用后验均值作为阈值能显著提升检测准确率。