[论文解读] DenseAlert: Incremental Dense-Subtensor Detection in Tensor Streams

Kijung Shin, Bryan Hooi+2 more|arXiv (Cornell University)|Jun 11, 2017

Tensor decomposition and applications参考文献 18被引用 9

一句话总结

DenseAlert 和 DenseStream 引入了增量算法，用于在动态张量流中实时检测密集子张量，保证可证明的密度边界，同时相比批处理方法实现高达一百万倍的性能提升。该方法能够以高精度检测到如网络攻击和评分操纵等突发性、小规模异常，优于静态方法在动态真实场景中的表现。

ABSTRACT

Consider a stream of retweet events - how can we spot fraudulent lock-step behavior in such multi-aspect data (i.e., tensors) evolving over time? Can we detect it in real time, with an accuracy guarantee? Past studies have shown that dense subtensors tend to indicate anomalous or even fraudulent behavior in many tensor data, including social media, Wikipedia, and TCP dumps. Thus, several algorithms have been proposed for detecting dense subtensors rapidly and accurately. However, existing algorithms assume that tensors are static, while many real-world tensors, including those mentioned above, evolve over time. We propose DenseStream, an incremental algorithm that maintains and updates a dense subtensor in a tensor stream (i.e., a sequence of changes in a tensor), and DenseAlert, an incremental algorithm spotting the sudden appearances of dense subtensors. Our algorithms are: (1) Fast and 'any time': updates by our algorithms are up to a million times faster than the fastest batch algorithms, (2) Provably accurate: our algorithms guarantee a lower bound on the density of the subtensor they maintain, and (3) Effective: our DenseAlert successfully spots anomalies in real-world tensors, especially those overlooked by existing algorithms.

研究动机与目标

• 填补现有密集子张量检测算法假设张量静态的空白，实现对张量流更新的实时处理。
• 在随时间演化的多维数据（如网络流量和评论系统）中，检测突发性、小规模密集子张量，以识别欺诈或攻击行为。
• 在保证高效率和可扩展性的同时，维持检测到的子张量密度的理论下界。
• 开发一种增量框架，支持‘任意时间’更新，实现对异常的持续监控和对新兴异常的即时响应。

提出的方法

• DenseStream 通过动态更新一组小规模候选子张量，增量式地在张量流中维护一个密集子张量，并提供可证明的密度保证。
• 该算法采用贪心选择策略，聚焦于最小数量的子张量，确保快速更新而不损失准确性。
• DenseAlert 基于 DenseStream 构建，通过分析短时间间隔内条目在时间上的集中程度，检测密集子张量的突发出现。
• 它利用‘同步行为’模式——即大量相似条目在短时间内快速出现——来识别潜在的攻击或操纵行为。
• 该方法提供了检测到的子张量密度的理论下界，确保在实时环境中仍具备准确性。
• 两种算法均针对流式工作负载设计，更新时间随数据规模呈次线性增长，支持大规模张量的可扩展性。

实验结果

研究问题

• RQ1 密集子张量检测能否在演化张量流中实现实时、高效的检测，而非依赖批处理？
• RQ2 当密集子张量在短时间间隔内突发出现时，如何有效检测出这些突发性、小规模的密集子张量（指示欺诈或攻击）？
• RQ3 增量算法能否在实现相比批处理方法数量级性能提升的同时，维持对子张量密度的可证明下界？
• RQ4 现有基于批处理的密集子张量检测算法在多大程度上无法检测到真实数据中细微且时间集中的异常？

主要发现

• DenseStream 的更新性能相比最快批处理算法最高提升达一百万倍，同时保持与批处理方法相当的密度保证。
• DenseAlert 在 TCP dump 数据集中检测到全部 15 个最密集的子张量，全部对应实际网络攻击，AUC 达到 0.924。
• 该算法成功识别出现有算法所忽略的小规模评分操纵攻击，出现在 Yelp 和 Wikipedia 数据中。
• DenseAlert 检测到一次高影响力的韩文维基百科编辑战，单日内涉及 900 次编辑，证实了其在真实世界异常检测中的有效性。
• DenseStream 更新的时间复杂度随数据规模呈次线性增长，表明其在大规模张量流中具有强大的可扩展性。
• 实验表明，基于张量分解的方法准确率有限，凸显了所提出的贪心、密度有保证方法的优势。