[논문 리뷰] A new non-parametric detector of univariate outliers for distributions with unbounded support

Jean‐Marc Bardet, Solohaja-Faniaha Dimby|arXiv (Cornell University)|2015. 09. 08.

Advanced Statistical Methods and Models참고 문헌 23인용 수 9

한 줄 요약

이 논문은 지정된 지표 통계량을 사용하여 상위 순서 통계량의 로그 비율에 적용된 힐 유형 통계량에 기반한, 지지가 무한대인 단변량 데이터를 위한 새로운 비모수적 이상치 탐지기법을 제안한다. 이 방법은 다양한 분포(정규분포, 감마분포, 웨일부르 분포, 스튀던트-t 분포 포함)에서 강건한 성능을 발휘하며, 이러한 비율의 점프를 감지함으로써 점차적 타당성과 함께 투케이, MAD, LOF 탐지기보다도 시뮬레이션과 실세계의 중고 자동차 가격 데이터에서 뛰어난 정확도를 보인다.

ABSTRACT

The purpose of this paper is to construct a new non-parametric detector of univariate outliers and to study its asymptotic properties. This detector is based on a Hill's type statistic. It satisfies a unique asymptotic behavior for a large set of probability distributions with positive unbounded support (for instance: for the absolute value of Gaussian, Gamma, Weibull, Student or regular variations distributions). We have illustrated our results by numerical simulations which show the accuracy of this detector with respect to other usual univariate outlier detectors (Tukey, MAD or Local Outlier Factor detectors). The detection of outliers in a database providing the prices of used cars is also proposed as an application to real-life database.

연구 동기 및 목표

• 정규성과 같은 모수적 가정에 의존하지 않는 비모수적 이상치 탐지기법을 개발하는 것.
• 지지가 무한대인 독립 동일분포의 양수 랜덤 변수 표본에서 가장 큰 값들 사이의 이상치를 탐지하는 것.
• 파레토, 스튀던트-t, 지수형 분포를 포함한 무거운 尾 꼬리 및 가벼운 꼬리 분포의 광범위한 클래스에서 점차적 타당성을 보장하는 것.
• 극단가 이론을 활용하여 명시적이고 데이터 기반의 임계값을 도출함으로써 조정 파rameter를 피하는 것.
• 시뮬레이션과 실세계 적용에서 기존의 탐지기들(Tukey, MAD, LOF)보다 뛰어난 성능을 입증하는 것.

제안 방법

• 이 방법은 연속적인 상위 순서 통계량의 로그 비율, 즉 $ \log(X_{(n-j+1)}) - \log(X_{(n-j)}) $을 사용하여 간격의 수열을 형성한다.
• 이 간격에 힐 유형 추정기를 적용하며, 극한값 이론의 레니 지표를 활용하여 최대 도메인의 도착에 속하는 지수 분포 순서 통계량에 기반한다.
• 이러한 로그 비율의 최댓값이 극단가 이론에서 유도된 임계값을 초과할 경우 이상치로 간주한다.
• 최대 간격의 점차적 분포를 이용하여 명시적으로 정의된 임계값을 통해 비모수적 타당성을 보장한다.
• 감지된 이상치의 수는 임계값을 초과하는 초과 수를 사용하여 추정되며, $ J_n \to \infty $ 이면서 $ J_n / \log n \to 0 $ 인 수열을 사용한다.
• 절댓값을 사용함으로써 비양수 데이터로의 확장을 하였으며, $ \max - X_i $로의 변환을 통해 작은 값에도 적용 가능하게 하였다.

실험 결과

연구 질문

• RQ1 지지가 무한대인 광범위한 분포 클래스에서 점차적 타당성을 확보하는 비모수적 이상치 탐지기법을 구성할 수 있는가?
• RQ2 특정 모수적 가정 없이 극단가 이론을 어떻게 활용하여 이상치를 탐지할 수 있는가?
• RQ3 제안된 탐지기법이 정밀도와 위양성 제어 측면에서 기존의 방법들(Tukey, MAD, LOF)보다 뛰어난 성능을 보이는가?
• RQ4 조정 파rameter 없이 무거운 꼬리 또는 비대칭 분포를 가진 실세계 데이터에 적용할 수 있는가?
• RQ5 정규 변동성 및 윌부르 도메인을 포함한 다양한 분포가정 하에서 검정 통계량의 점차적 행동은 어떠한가?

주요 결과

• 제안된 탐지기법은 윌부르 또는 프레셰 극한값 분포의 최대 도메인에 속하는 모든 분포에 대해 점차적 타당성을 보이며, 파레토, 스튀던트-t, 정규 변동성 가족을 포함한다.
• 시뮬레이션 결과, 특히 무거운 꼬리 및 비대칭 분포에서 투케이, MAD, LOF에 비해 위양성 수가 크게 감소함을 확인하였다.
• 실제 중고 자동차 가격 데이터셋에서 두 가지 유형의 이상치를 정확히 탐지하였으며, 고가격 및 고주행 이상치 모두 포함되었다.
• 최대 로그 비율 간격의 점차적 분포는 명시적 임계값 설정이 가능한 구름벨 유형의 극한값 분포로 수렴한다.
• 정규 변동성 조건 하에서 이상치 수 추정기는 일관성을 보이며, 수렴 속도는 $ J_n $ 과 $ \log n $ 에 따라 달라진다.
• 이상치 탐지기법은 조정 파rameter가 필요 없으며, 정규분포, 감마분포, 웨일부르 분포를 포함한 다양한 분포에서 높은 검정력을 유지한다.