[论文解读] A new non-parametric detector of univariate outliers for distributions with unbounded support

Jean‐Marc Bardet, Solohaja-Faniaha Dimby|arXiv (Cornell University)|Sep 8, 2015

Advanced Statistical Methods and Models参考文献 23被引用 9

一句话总结

该论文提出了一种针对具有无界支撑的单变量数据的新型非参数异常值检测器，基于对顶部顺序统计量的对数比率应用Hill型统计量。通过检测这些比率中的跳跃，该方法在多种分布（包括正态分布、伽马分布、威布尔分布和学生t分布）中表现出稳健性能，具有渐近有效性，并在模拟和真实二手车定价数据中优于Tukey、MAD和LOF检测器，准确度更高。

ABSTRACT

The purpose of this paper is to construct a new non-parametric detector of univariate outliers and to study its asymptotic properties. This detector is based on a Hill's type statistic. It satisfies a unique asymptotic behavior for a large set of probability distributions with positive unbounded support (for instance: for the absolute value of Gaussian, Gamma, Weibull, Student or regular variations distributions). We have illustrated our results by numerical simulations which show the accuracy of this detector with respect to other usual univariate outlier detectors (Tukey, MAD or Local Outlier Factor detectors). The detection of outliers in a database providing the prices of used cars is also proposed as an application to real-life database.

研究动机与目标

• 开发一种不依赖正态性等参数假设的非参数异常值检测器。
• 检测来自具有无界支撑的独立同分布正随机变量样本中最大值附近的异常值。
• 确保在包括帕累托分布、学生t分布和指数型分布在内的广泛重尾和轻尾分布类中具有渐近有效性。
• 通过利用极值理论推导出的显式、数据驱动的阈值，避免调参。
• 在模拟和真实世界应用中，证明其性能优于经典检测器（Tukey、MAD、LOF）。

提出的方法

• 该方法使用连续上部顺序统计量的对数比率，即 $ \log(X_{(n-j+1)}) - \log(X_{(n-j)}) $，形成一系列间距。
• 对这些间距应用Hill型估计器，利用极值吸引域中指数顺序统计量的Rényi表示法。
• 当这些对数比率的最大值超过由极值理论推导出的临界阈值时，即判定为异常值。
• 通过最大间距的渐近分布显式定义阈值，确保非参数有效性。
• 通过超过阈值的超额次数来估计检测到的异常值数量，使用满足 $ J_n \to \infty $ 且 $ J_n / \log n \to 0 $ 的序列 $ J_n $。
• 通过取绝对值将方法扩展至非正数据，并通过变换 $ \max - X_i $ 适用于小值。

实验结果

研究问题

• RQ1 能否构建一种非参数异常值检测器，使其在具有无界支撑的广泛分布类中具有渐近有效性？
• RQ2 如何利用极值理论在不假设特定参数族的前提下检测异常值？
• RQ3 所提出的检测器在精确度和假阳性控制方面是否优于经典方法（如Tukey、MAD和LOF）？
• RQ4 该检测器能否在无需调参的情况下应用于具有重尾或偏态分布的真实世界数据？
• RQ5 在各种分布假设下（包括正则变体和Weibull域），检验统计量的渐近行为如何，包括正则变体和Weibull域？

主要发现

• 所提出的检测器对Weibull或Fréchet极值分布吸引域中的所有分布均具有渐近有效性，包括帕累托分布、学生t分布和正则变体族。
• 在模拟中，与Tukey、MAD和LOF相比，该检测器显著减少了假阳性，尤其是在重尾和偏态分布中。
• 在真实二手车定价数据集中，该方法正确识别出两类异常值：高价异常值和高里程异常值。
• 最大对数比率间距的渐近分布收敛于Gumbel型极值分布，从而实现显式阈值设定。
• 在弱正则变体条件下，异常值数量的估计器是一致的，其收敛速度取决于 $ J_n $ 和 $ \log n $。
• 该检测器无需调参，在包括正态分布、伽马分布和威布尔分布在内等多种分布中均保持高统计功效。