[论文解读] Automating Outlier Detection via Meta-Learning

Yue Zhao, Ryan A. Rossi+1 more|arXiv (Cornell University)|Sep 22, 2020

Anomaly Detection Techniques and Applications参考文献 51被引用 12

一句话总结

该论文提出 MetaOD，一种元学习框架，通过利用基准数据集上的历史性能数据，自动实现异常检测模型的选择。它使用专门设计的元特征来量化数据集的异常特性，实现无需标签的快速、单次推理选择最优检测器及其超参数，且计算开销极低，性能优于最先进方法以及 LOF 和 iForest 等流行检测器。

ABSTRACT

Given an unsupervised outlier detection (OD) task on a new dataset, how can we automatically select a good outlier detection method and its hyperparameter(s) (collectively called a model)? Thus far, model selection for OD has been a "black art"; as any model evaluation is infeasible due to the lack of (i) hold-out data with labels, and (ii) a universal objective function. In this work, we develop the first principled data-driven approach to model selection for OD, called MetaOD, based on meta-learning. MetaOD capitalizes on the past performances of a large body of detection models on existing outlier detection benchmark datasets, and carries over this prior experience to automatically select an effective model to be employed on a new dataset without using any labels. To capture task similarity, we introduce specialized meta-features that quantify outlying characteristics of a dataset. Through comprehensive experiments, we show the effectiveness of MetaOD in selecting a detection model that significantly outperforms the most popular outlier detectors (e.g., LOF and iForest) as well as various state-of-the-art unsupervised meta-learners while being extremely fast. To foster reproducibility and further research on this new problem, we open-source our entire meta-learning system, benchmark environment, and testbed datasets.

研究动机与目标

• 为解决无标签数据和通用目标函数下，无监督异常检测中缺乏系统化模型选择方法的问题。
• 在无需标签数据或迭代评估的前提下，自动化选择适用于新数据集的最佳异常检测方法及其超参数。
• 建立一种基于数据驱动的元学习方法，将过去在基准数据集上的模型性能泛化至新任务。
• 设计领域特定的元特征，以捕捉数据集中的异常特性，从而提升任务相似性估计的准确性。
• 构建一个可复现的开源平台，为未来自动化异常检测研究提供支持。

提出的方法

• MetaOD 使用元学习框架，基于捕捉异常特性的元特征，将新异常检测任务映射到历史基准数据集。
• 计算元特征（如密度、维度和异常分布统计量）以量化新数据集与历史数据集之间的任务相似性。
• 通过加权聚合历史相似任务上的模型性能，预测新任务上的模型表现，灵感来源于协同过滤。
• 系统采用冷启动推荐类比，将每个新数据集视为新用户，每个检测器视为无历史评分的项目。
• 从新数据集中提取元特征，并在单次推理步骤中选择预测性能最高的模型。
• 该方法效率极高，元特征计算和性能估计的运行时开销可忽略不计，远低于模型训练开销。

实验结果

研究问题

• RQ1 在缺乏标签数据的情况下，元学习能否有效应用于自动化异常检测模型选择？
• RQ2 何种类型的元特征最能捕捉数据集的异常特性，以实现准确的任务相似性估计？
• RQ3 MetaOD 在性能上与最先进无监督元学习器及 LOF 和 iForest 等流行异常检测器相比如何？
• RQ4 MetaOD 是否能在极低计算开销下实现高性能，从而具备实际部署的可行性？
• RQ5 MetaOD 在多样化的数据集和异常检测场景下是否具备强鲁棒性？

主要发现

• MetaOD 在平均平均精度（MAP）方面显著优于所有基线方法，包括 LOF 和 iForest 等流行检测器，在 POC 基准测试上达到 0.3382 的 MAP。
• MetaOD 在所有数据集上取得最佳平均排名（6.87），在成对 Wilcoxon 符号秩检验中，除 iForest 外，其性能显著优于所有基线方法。
• 该方法的运行时开销可忽略不计，元特征提取和模型选择耗时恒定，且可轻松并行化。
• 与其它元学习器（如 MetaOD_C、MetaOD_F 和 RS）相比，MetaOD 性能更优，且在大多数比较中具有统计显著性提升（p < 0.05）。
• 使用专为异常特性设计的元特征，相比通用或非异常特异性特征，能更准确地估计任务相似性。
• 开源的 MetaOD 系统与基准测试平台为未来自动化异常检测研究提供了可复现的基础。