[论文解读] Active Anomaly Detection via Ensembles

Shubhomoy Das, Rakibul Islam+2 more|arXiv (Cornell University)|Sep 17, 2018

Anomaly Detection Techniques and Applications参考文献 29被引用 12

一句话总结

该论文提出了一种基于集成模型的主动异常检测框架，利用标签高效的主动学习方法，在批量和流式设置下均提升了异常检测性能。通过利用集成分数中的固有不确定性，引入紧凑的异常描述和自适应漂移检测机制，该方法在异常发现率方面表现更优，并在存在概念漂移的流式数据中，仍能实现与最先进无监督基线方法相当的性能。

ABSTRACT

In critical applications of anomaly detection including computer security and fraud prevention, the anomaly detector must be configurable by the analyst to minimize the effort on false positives. One important way to configure the anomaly detector is by providing true labels for a few instances. We study the problem of label-efficient active learning to automatically tune anomaly detection ensembles and make four main contributions. First, we present an important insight into how anomaly detector ensembles are naturally suited for active learning. This insight allows us to relate the greedy querying strategy to uncertainty sampling, with implications for label-efficiency. Second, we present a novel formalism called compact description to describe the discovered anomalies and show that it can also be employed to improve the diversity of the instances presented to the analyst without loss in the anomaly discovery rate. Third, we present a novel data drift detection algorithm that not only detects the drift robustly, but also allows us to take corrective actions to adapt the detector in a principled manner. Fourth, we present extensive experiments to evaluate our insights and algorithms in both batch and streaming settings. Our results show that in addition to discovering significantly more anomalies than state-of-the-art unsupervised baselines, our active learning algorithms under the streaming-data setup are competitive with the batch setup.

研究动机与目标

• 为解决无监督异常检测中高误报率的问题，通过主动学习实现人机协同的配置机制。
• 在不牺牲检测性能的前提下，提升呈现给分析人员的异常多样性。
• 开发一种稳健且具有理论基础的方法，用于检测和适应流式异常检测中的数据漂移。
• 证明在流式环境中，基于集成模型的主动学习方法可实现与批量学习相当的性能。

提出的方法

• 使用基于树的异常检测器集成来计算实例得分，利用集成得分矩阵 ${\bf H}$ 识别高分（可能为异常）实例。
• 采用贪心主动学习策略，对集成得分最高的实例进行标签查询，利用此类实例因集成内部不确定性而最具信息量的洞察。
• 提出一种紧凑描述形式，用于总结已发现的异常群体，从而在保持检测率的同时实现多样化的查询选择。
• 提出一种基于Kullback-Leibler（KL）散度的新颖数据漂移检测算法，用于识别集成中过时的树，并触发自适应替换。
• 实现一种流式主动学习框架（SAL），通过维护一个数据滑动窗口，基于KL散度动态替换树，并利用分析师反馈更新模型权重。
• 采用均匀权重初始化（${\bf w}_{\text{unif}}$）作为可靠先验，以减少方差并提升主动学习的收敛性。

实验结果

研究问题

• RQ1 如何系统性地利用异常检测器集成实现标签高效的主动学习？
• RQ2 紧凑的异常描述是否能在不降低异常发现性能的前提下提升查询多样性？
• RQ3 如何在流式环境中稳健检测数据漂移，并用于触发有原则的模型自适应？
• RQ4 在真实世界异常检测中，流式主动学习结合反馈在多大程度上可达到批量主动学习的性能？

主要发现

• 所提出的主动学习算法（BAL）在异常发现方面显著优于最先进无监督基线方法，尤其在采用均匀先验初始化时表现更优。
• SAL（KL Adaptive）流式算法的性能可与批量主动学习相媲美，证明了实时、反馈驱动异常检测的可行性。
• 使用紧凑异常描述可在保持检测率的同时实现多样化的查询选择，其表现与贪心查询策略相当。
• 基于KL散度的自适应树替换策略能有效检测概念漂移，并提升模型鲁棒性，如在存在漂移的Covtype数据集中所展示。
• 在无漂移场景下（如ANN-Thyroid-1v3），模型会更长时间保留旧的树，表明性能稳定；而在高漂移场景下，替换频率显著提高。
• 该方法具有良好的泛化能力：经反馈调优的检测器在未见数据上表现更优，且SAL（KL Adaptive）在流式设置中始终优于无监督基线方法和固定树替代方案。