[论文解读] Arrays of (locality-sensitive) Count Estimators (ACE): High-Speed Anomaly Detection via Cache Lookups

Chen Luo, Anshumali Shrivastava|arXiv (Cornell University)|Jun 20, 2017

Anomaly Detection Techniques and Applications参考文献 37被引用 6

一句话总结

ACE 提出了一种高速、超低内存的异常检测算法，通过使用局部敏感计数估计器数组，实现在流数据中实时检测异常。通过利用一种基于采样技术的新型 LSH（局部敏感哈希）估计器，ACE 在内存使用低于 4MB 的情况下，相比 ELKI 实现了 60 倍的性能提升，使其适用于基于缓存的高性能系统部署。

ABSTRACT

Anomaly detection is one of the frequent and important subroutines deployed in large-scale data processing systems. Even being a well-studied topic, existing techniques for unsupervised anomaly detection require storing significant amounts of data, which is prohibitive from memory and latency perspective. In the big-data world existing methods fail to address the new set of memory and latency constraints. In this paper, we propose ACE (Arrays of (locality-sensitive) Count Estimators) algorithm that can be 60x faster than the ELKI package~\cite{DBLP:conf/ssd/AchtertBKSZ09}, which has the fastest implementation of the unsupervised anomaly detection algorithms. ACE algorithm requires less than $4MB$ memory, to dynamically compress the full data information into a set of count arrays. These tiny $4MB$ arrays of counts are sufficient for unsupervised anomaly detection. At the core of the ACE algorithm, there is a novel statistical estimator which is derived from the sampling view of Locality Sensitive Hashing(LSH). This view is significantly different and efficient than the widely popular view of LSH for near-neighbor search. We show the superiority of ACE algorithm over 11 popular baselines on 3 benchmark datasets, including the KDD-Cup99 data which is the largest available benchmark comprising of more than half a million entries with ground truth anomaly labels.

研究动机与目标

• 解决在高速、数据分布漂移的数据流中，面临严格内存与延迟约束的实时异常检测挑战。
• 克服现有无监督异常检测方法在大数据环境中因内存占用大、延迟高而带来的局限性。
• 设计一种内存高效的算法，可完全容纳于 CPU 缓存（2–10 MB），以支持实时应用的超低延迟推理。
• 实现在低功耗、低内存平台（如移动设备和智能传感器）上的部署，而传统方法在这些平台上不可行。
• 提供可扩展、缓存优化的解决方案，在大幅降低计算与存储开销的同时保持高检测精度。

提出的方法

• 采用基于 LSH 的计数估计器数组（ACE），其中每个数组使用不同的哈希函数来估计数据点的局部密度。
• 使用一种源自 LSH 采样视角的新型统计估计器，将每个哈希桶视为一个随机样本，以估计异常得分。
• 将查询点 $ q $ 的异常得分计算为 $ L $ 个独立估计器的平均值，每个估计器来自独立的哈希数组。
• 为每个哈希函数维护一个大小为 $ O(1) $ 的紧凑计数数组，仅存储映射到每个哈希桶的数据点数量。
• 利用期望的线性性确保估计器无偏，并通过在 $ L $ 个独立哈希数组上取平均来降低方差。
• 使用缓存友好的数据结构存储计数数组，以实现快速随机访问，并在实时处理中最小化内存延迟。

实验结果

研究问题

• RQ1 基于 LSH 的新型采样估计器是否能以极小的内存占用实现高精度的异常检测？
• RQ2 与最先进的无监督异常检测方法相比，ACE 算法在速度和内存效率方面表现如何？
• RQ3 ACE 算法在大规模、高维且数据分布动态变化的流式数据集上，其可扩展性如何？
• RQ4 ACE 算法是否能完全部署在 CPU 缓存中，实现实时系统中亚毫秒级的响应时间？
• RQ5 估计器的方差如何随哈希数组数量 $ L $ 变化？准确率与内存之间的最优权衡是什么？

主要发现

• ACE 相比 ELKI 包（目前已知最快的无监督异常检测算法实现）实现了 60 倍的性能提升。
• 该算法仅需不到 4MB 内存即可表示整个数据集，支持完全缓存内部署，实现超低延迟访问。
• 在包含超过 50 万个条目且具有真实标签的 KDD-Cup99 基准测试中，ACE 在速度和准确率上均优于 11 种主流基线方法。
• 由于期望的线性性，即使指标变量在数据点之间相关，该估计器仍保持无偏。
• 估计器的方差随 $ 1/L $ 减小，其中 $ L $ 为哈希数组数量，从而在极低内存开销下实现高精度估计。
• 该方法对数据漂移具有鲁棒性，并支持动态数据更新，适用于实时、高速数据处理环境。