[論文レビュー] A new non-parametric detector of univariate outliers for distributions with unbounded support

Jean‐Marc Bardet, Solohaja-Faniaha Dimby|arXiv (Cornell University)|Sep 8, 2015

Advanced Statistical Methods and Models参考文献 23被引用数 9

ひとこと要約

本稿は、上位順序統計量の対数比にヒル型統計量を適用する手法に基づき、上限なしのサポートを持つ一変量データのための新しい非パラメトリックな外れ値検出手法を提案する。この手法は、ガウス分布、ガンマ分布、ワイブル分布、スチューデントt分布など多様な分布において、これらの比のジャンプを検出することで、頑健な性能を発揮する。シミュレーションおよび中古車価格の実データにおいて、ツーキー、MAD、LOF検出器よりも優れた精度と、漸近的有効性を示す。

ABSTRACT

The purpose of this paper is to construct a new non-parametric detector of univariate outliers and to study its asymptotic properties. This detector is based on a Hill's type statistic. It satisfies a unique asymptotic behavior for a large set of probability distributions with positive unbounded support (for instance: for the absolute value of Gaussian, Gamma, Weibull, Student or regular variations distributions). We have illustrated our results by numerical simulations which show the accuracy of this detector with respect to other usual univariate outlier detectors (Tukey, MAD or Local Outlier Factor detectors). The detection of outliers in a database providing the prices of used cars is also proposed as an application to real-life database.

研究の動機と目的

• 正規性などのパラメトリック仮定に依存しない非パラメトリック外れ値検出手法の開発を目的とする。
• 無限大のサポートを持つ独立同一分布の正の確率変数の標本における最大値の外れ値を検出することを目的とする。
• パレート分布、スチューデントt分布、指数型分布を含む、重尾型および軽尾型の広範な分布クラスにおいて、漸近的有効性を保証することを目的とする。
• 極値理論に基づく明示的かつデータ駆動のしきい値を用いることで、チューニングパラメータを回避することを目的とする。
• シミュレーションおよび実世界の応用において、既存の検出器（ツーキー、MAD、LOF）と比較して優れた性能を示すことを目的とする。

提案手法

• 上位順序統計量の対数比、特に $ \log(X_{(n-j+1)}) - \log(X_{(n-j)}) $ を用いて、間隔の系列を構築する。
• これらの間隔にヒル型推定量を適用し、最大域収束のためのレニー表現を用いる。
• これらの対数比の最大値が、極値理論から導かれる臨界しきい値を超えた場合に外れ値を検出する。
• 最大間隔の漸近的分布を用いて、明示的に定義されたしきい値を導出し、非パラメトリックな有効性を保証する。
• しきい値を超える超過回数を数えることで、外れ値の数を推定する。この際、$ J_n \to \infty $ かつ $ J_n / \log n \to 0 $ を満たす列 $ J_n $ を用いる。
• 絶対値を用いることで非正のデータに対しても拡張し、$ \max - X_i $ への変換により小さな値に対しても適用可能にする。

実験結果

リサーチクエスチョン

• RQ1 上限なしのサポートを持つ広範な分布クラスにおいて、漸近的有効性を示す非パラメトリック外れ値検出手法を構築できるか？
• RQ2 特定のパラメトリック族を仮定せずに、極値理論を活用して外れ値を検出できるか？
• RQ3 提案手法は、ツーキー、MAD、LOFといった古典的手法と比較して、精度および偽陽性の制御において優れた性能を示すか？
• RQ4 チューニングパラメータを必要とせず、重尾型または歪度のある分布を示す実世界データに適用可能か？
• RQ5 正則変動およびワイブル領域を含む、さまざまな分布仮定下での検定統計量の漸近的挙動はいかなるものか？

主な発見

• 提案手法は、ワイブルまたはフレシェ極値分布の最大域収束に属するすべての分布に対して漸近的有効性を示す。これには、パレート分布、スチューデントt分布、正則変動族が含まれる。
• シミュレーションにおいて、特に重尾型および歪度のある分布において、ツーキー、MAD、LOFと比較して偽陽性が顕著に低減される。
• 実際の中古車価格データセットにおいて、高価格および高走行距離の外れ値の2種類の異常を正しく同定した。
• 最大対数比間隔の漸近的分布は、Gumbel型極値分布に収束し、明示的なしきい値設定を可能にする。
• 正則変動条件が緩く満たされる場合、外れ値数の推定量は一貫性を示し、収束速度は $ J_n $ と $ \log n $ に依存する。
• チューニングパラメータを一切必要とせず、ガウス分布、ガンマ分布、ワイブル分布など多様な分布において高い検出力を持つ。