[论文解读] Kernel-based Outlier Detection using the Inverse Christoffel Function

Armin Askari, Forest Yang+1 more|arXiv (Cornell University)|Jun 18, 2018

Anomaly Detection Techniques and Applications参考文献 11被引用 3

一句话总结

该论文提出了一种核化逆Christoffel函数（KIC）变体，用于异常值检测，通过用核诱导公式替代计算成本高昂的矩陣求逆，实现了在高维数据上的高效计算。该方法在性能上达到当前最先进水平，KIC2-RBF在超参数调优后，平均AUPRC达到0.65，特定数据集上最高达0.979，优于15个基准数据集上的现有方法。

ABSTRACT

Outlier detection methods have become increasingly relevant in recent years due to increased security concerns and because of its vast application to different fields. Recently, Pauwels and Lasserre (2016) noticed that the sublevel sets of the inverse Christoffel function accurately depict the shape of a cloud of data using a sum-of-squares polynomial and can be used to perform outlier detection. In this work, we propose a kernelized variant of the inverse Christoffel function that makes it computationally tractable for data sets with a large number of features. We compare our approach to current methods on 15 different data sets and achieve the best average area under the precision recall curve (AUPRC) score, the best average rank and the lowest root mean square deviation.

研究动机与目标

• 为解决原始逆Christoffel函数方法在高维设置下因矩陣大小呈指数增长而导致的计算不可行性问题。
• 开发一种核化公式，使在具有数百个特征的数据集上实现高效异常值检测成为可能，而原始方法因内存限制而失效。
• 利用核方法（包括RBF核）访问无限维特征空间，提升建模灵活性。
• 通过AUPRC、平均秩和RMSD等指标，在标准异常值检测基准上展示优越性能。
• 表明通过$\rho I$项进行正则化可增强鲁棒性并提高检测准确性。

提出的方法

• 提出逆Christoffel函数的下界，以正则化最小二乘公式替代完整的矩陣求逆。
• 通过以核矩阵表达方法，推导出核化逆Christoffel函数（KIC），从而可使用任意正定核。
• 使用RBF核将数据映射到无限维空间，这在原始公式中不可行，但通过核技巧可实现。
• 应用Tikhonov型正则化项（$\rho I$）以稳定求逆并改善泛化性能，其中$\rho$按数据集进行调优。
• 采用对偶公式，通过核矩阵求逆计算逆Christoffel函数，将计算复杂度从与特征数呈指数关系降低为与数据点数呈三次方关系。
• 提出两种变体：KIC2（$\rho = C$）和KIC-RBF（使用RBF核），两者均通过$\rho$和$\sigma$的超参数调优进行优化。

实验结果

研究问题

• RQ1 逆Christoffel函数能否被重新公式化，以实现在高维数据上的高效计算？
• RQ2 对逆Christoffel函数进行核化是否能访问更丰富的特征空间，例如RBF核所诱导的空间？
• RQ3 所得到的核化方法能否在标准基准上实现优于当前最先进方法的异常值检测性能？
• RQ4 通过$\rho I$项进行正则化如何影响异常值检测过程的鲁棒性和准确性？
• RQ5 该方法能否在包括合成数据和具有不同特征维度的真实世界数据在内的多种数据类型上实现泛化？

主要发现

• KIC方法在高达784个特征的数据集（如MNIST）上成功运行，而原始逆Christoffel方法因内存限制而失效。
• KIC2在15个基准数据集上取得最高平均AUPRC（0.65）和最低RMSD。
• KIC2-RBF在所有数据集上取得最佳平均秩，表明其整体性能更优。
• 在最优超参数调优下，KIC2-RBF在Mfeat2上达到0.979的AUPRC，在Isolet上达到0.963，在Optdigits上达到0.722——显著优于主表格中的最佳结果。
• RBF核变体在其他方法表现不佳的数据集中表现出色，表明其特别适合复杂非线性数据结构。
• KSP和KIC方法的过滤版本表现较差，表明过滤步骤可能在某些数据类型上降低性能。