[论文解读] AnoShift: A Distribution Shift Benchmark for Unsupervised Anomaly Detection

Marius Drăgoi, Elena Burceanu+3 more|arXiv (Cornell University)|Jun 30, 2022

Network Security and Intrusion Detection被引用 15

一句话总结

AnoShift 在京都-2006+ 网络流量数据集上引入了一个时序结构化的基准，用于无监督异常检测，展示了十年间显著的分布偏移。该框架基于训练数据的时间距离，对模型在 IID、NEAR 和 FAR 测试划分上进行评估，表明对分布偏移的意识以及简单的蒸馏技术可使性能相比标准 IID 训练提升高达 3%。

ABSTRACT

Analyzing the distribution shift of data is a growing research direction in nowadays Machine Learning (ML), leading to emerging new benchmarks that focus on providing a suitable scenario for studying the generalization properties of ML models. The existing benchmarks are focused on supervised learning, and to the best of our knowledge, there is none for unsupervised learning. Therefore, we introduce an unsupervised anomaly detection benchmark with data that shifts over time, built over Kyoto-2006+, a traffic dataset for network intrusion detection. This type of data meets the premise of shifting the input distribution: it covers a large time span ($10$ years), with naturally occurring changes over time (eg users modifying their behavior patterns, and software updates). We first highlight the non-stationary nature of the data, using a basic per-feature analysis, t-SNE, and an Optimal Transport approach for measuring the overall distribution distances between years. Next, we propose AnoShift, a protocol splitting the data in IID, NEAR, and FAR testing splits. We validate the performance degradation over time with diverse models, ranging from classical approaches to deep learning. Finally, we show that by acknowledging the distribution shift problem and properly addressing it, the performance can be improved compared to the classical training which assumes independent and identically distributed data (on average, by up to $3\%$ for our approach). Dataset and code are available at https://github.com/bit-ml/AnoShift/.

研究动机与目标

• 为解决真实流式数据中无监督异常检测在分布偏移下的基准缺失问题。
• 证明京都-2006+ 数据集由于用户行为演变和系统变化，在长达十年的时间内表现出自然的、渐进的分布偏移。
• 提出一种基于时间顺序的评估协议，包含三种测试划分——IID、NEAR 和 FAR，依据与训练数据的时间距离。
• 验证认识到分布偏移可提升模型在真实部署场景中的泛化能力和鲁棒性。
• 提供公开可获取的数据集和代码库，以支持分布偏移感知异常检测的可复现研究。

提出的方法

• 作者通过逐特征分布分析、t-SNE 可视化以及最优传输方法，量化分析京都-2006+ 数据集在各年度间的分布偏移。
• 提出一种三路划分协议：在 2006–2010 年（4 年）进行训练，NEAR 划分使用 2011–2013 年（3 年），FAR 划分使用 2014–2015 年（2 年），依据与训练数据的时间接近程度。
• 通过指数分箱（233 个箱）对连续特征进行离散化，并将百分比特征缩放至 100 个取值，以保持原始的正常样本与异常样本比例。
• 保留额外特征如 IDS_detection、Malware_detection 和 Ashula_detection，以表示异常信号。
• 应用一种基础的知识蒸馏技术，与标准 IID 训练相比，提升模型在分布偏移下的泛化能力。
• 该基准已发布，包含代码、预处理后的数据划分（30 万训练样本，每项划分保留 3 万样本）以及完整数据集版本，托管于 GitHub 和 Bitdefender 共享仓库。

实验结果

研究问题

• RQ1 京都-2006+ 数据集在其十年采集周期内是否表现出可测量的分布偏移？
• RQ2 当在时间跨度越来越远的测试数据上进行评估时（IID 与 NEAR 与 FAR），模型性能如何退化？
• RQ3 与标准 IID 训练假设相比，对分布偏移的意识是否能带来异常检测性能的提升？
• RQ4 简单的蒸馏技术在多大程度上可缓解因时间分布偏移导致的性能下降？
• RQ5 基于时间顺序的评估协议是否比标准 IID 评估更能反映真实世界中的模型泛化能力？

主要发现

• 京都-2006+ 数据集在十年间表现出显著的非平稳行为，经由逐特征分布偏移、t-SNE 可视化以及基于最优传输的距离度量得到证实。
• 当在时间跨度更远的测试数据上评估时，异常检测模型表现出一致的性能退化，其中 FAR 划分（2014–2015）的性能下降最为明显。
• 所提出的基于时间顺序的基准（IID、NEAR、FAR）有效捕捉了时间维度上的性能退化，相较于标准 IID 划分，提供了更真实的评估协议。
• 通过认识到分布偏移并应用基础知识蒸馏技术，与经典 IID 训练相比，模型性能平均提升高达 3%。
• 该基准表明，偏移感知训练可提升真实部署场景中的鲁棒性与泛化能力，尤其在数据随时间演化的环境中。
• 预处理后的数据集和代码已公开发布于 https://github.com/bit-ml/AnoShift/，支持可复现研究与未来基准测试。