[论文解读] An Evaluation of Classification and Outlier Detection Algorithms

Joanna Hodge, Jim Austin|arXiv (Cornell University)|May 2, 2018

Anomaly Detection Techniques and Applications参考文献 3被引用 6

一句话总结

本文评估了六种快速机器学习算法——梯度提升机（GBM）、随机森林（RF）、C4.5、k-NN、朴素贝叶斯和贝叶斯网络——在多变量时间序列数据中的分类与异常检测性能。在10个数据集上，GBM在分类任务中取得了最高的准确率；而在异常检测任务中，无单一算法全面占优，但GBM和RF在平衡数据集上表现优异，而在高度不平衡的异常数据集上则出现了过拟合现象。

ABSTRACT

This paper evaluates algorithms for classification and outlier detection accuracies in temporal data. We focus on algorithms that train and classify rapidly and can be used for systems that need to incorporate new data regularly. Hence, we compare the accuracy of six fast algorithms using a range of well-known time-series datasets. The analyses demonstrate that the choice of algorithm is task and data specific but that we can derive heuristics for choosing. Gradient Boosting Machines are generally best for classification but there is no single winner for outlier detection though Gradient Boosting Machines (again) and Random Forest are better. Hence, we recommend running evaluations of a number of algorithms using our heuristics.

研究动机与目标

• 识别适用于物联网和交通领域实时多变量时间序列数据中在线分类与异常检测的高效、快速训练算法。
• 在包含标记异常值和多属性的10个真实世界时间序列数据集上，评估算法在多样化数据集上的性能表现。
• 基于数据特征（特别是需要持续整合新数据的系统）推导出实用的算法选择启发式规则。
• 在一致的算法与数据集集合上，对比监督分类与异常检测的准确率，避免先前评估中可能存在的偏差。

提出的方法

• 使用WEKA机器学习框架对六种算法——GBM、RF、C4.5、k-NN、朴素贝叶斯和贝叶斯网络——进行评估，以确保一致性。
• 通过创建包含20个连续时间点的时间窗口来预处理数据集，以建模时间序列模式，同时保持时间顺序。
• 采用标准的训练/测试划分，确保训练数据在测试数据之前，以避免数据泄露；未对缺失值进行清洗或填补。
• 通过每种算法固定数量的超参数配置进行优化，以确保准确率比较的公平性。
• 在高度不平衡的异常数据集上，应用代价矩阵和树大小约束作为缓解过拟合的潜在策略。
• 以准确率为主要指标报告结果，因后续处理可容忍假阳性，故精确率相对不那么关键。

实验结果

研究问题

• RQ1 哪些快速训练的机器学习算法在多样化多变量时间序列数据集上实现了最高的分类准确率？
• RQ2 这些算法在监督异常检测任务中的表现如何，特别是在异常类别严重不平衡的数据集上？
• RQ3 能否推导出通用的启发式规则，以指导实时系统中在线分类与异常检测的算法选择？
• RQ4 集成方法如GBM和RF在仅有极少异常样本的数据集上，其过拟合程度如何？
• RQ5 基于实例的方法（如k-NN）与基于模型的方法（如C4.5）在非线性、复杂时间序列数据上的性能表现如何比较？

主要发现

• 梯度提升机（GBM）在10个数据集中的7个上实现了最高的分类准确率，整体表现最佳。
• 在异常检测任务中，无单一算法全面优于其他算法；GBM在3个数据集上准确率最高，而随机森林（RF）在4个数据集上表现最佳。
• 贝叶斯网络和RF在各数据集上的平均表现较强，但贝叶斯网络从未在任一单个数据集上达到最高准确率。
• GBM和RF在两个臭氧数据集（O₃¹hr 和 O₃⁸hr）上表现显著下降，这两个数据集的异常比例仅为7.5%，表明因类别不平衡导致过拟合。
• k-NN和逻辑回归（LR）在所有数据集上均表现逊色，因此被排除为异常检测的可行选项。
• C4.5和朴素贝叶斯表现参差不齐：尽管C4.5在分类任务中表现强劲，但在部分数据集上出现过拟合；而朴素贝叶斯虽不易过拟合，但整体准确率通常较低。