[논문 리뷰] Outliers and related problems

Lev B. Klebanov, Jaromı́r Antoch외 2명|arXiv (Cornell University)|2017. 01. 23.

Statistical Distribution Estimation and Applications참고 문헌 4인용 수 4

한 줄 요약

이 논문은 이상치를 특정 통계 모형과 모순되는 관측치로 재정의하며, 모형에 민감한 프레임워크를 제안하여 이상치를 체중 꼬리 분포와 대수법칙의 붕괴와 연결한다. 표본 평균과 분산에서의 극단적 이탈을 기반으로 엄밀한 확률적 정의를 제시하며, 안정분포와 파레토 분포에서 이러한 이상치가 자연스럽게 나타나는 방식을 보여주며, 배제가 아닌 모형 개선의 길을 제시한다.

ABSTRACT

We define outliers as a set of observations which contradicts the proposed mathematical (statistical) model and we discuss the frequently observed types of the outliers. Further we explore what changes in the model have to be made in order to avoid the occurance of the outliers. We observe that some variants of the outliers lead to classical results in probability, such as the law of large numbers and the concept of heavy tailed distributions. Key words: outlier; the law of large numbers; heavy tailed distributions; model rejection.

연구 동기 및 목표

• 기존의 이상치 정의가 '멀리 떨어진' 관측치로 간주되는 데서 기인하는 모호성과 부정확성을 해결하기 위해.
• 통계적 모순 기반의 수학적으로 엄밀하고 모형에 의존하는 이상치 정의를 수립하기 위해.
• 이상치의 존재가 파rametric 모형의 결함을 드러내며 모형 수정을 제안하는 방식을 탐색하기 위해.
• 이상치의 발생이 체중 꼬리 분포와 대수법칙 실패와 같은 근본적인 확률적 현상과 어떻게 연결되는지 연결하기 위해.

제안 방법

• 주어진 모형 하에서 극도로 낮은 확률을 가지는 관측치로 이상치를 공식적으로 정의하며, 작은 비영일 확률에 대해 β-이상치 개념을 도입한다.
• 표본 평균과 표본 분산을 사용하여 표준화된 이격도 |X - x̄|/s_n > k를 통해 '멀리 떨어진' 관측치를 정의한다.
• 극값 이론과 정규화 가능성을 활용하여 순서통계량, 특히 X_(n)과 X_(n-1)의 渐近적 행동을 분석하여 체중 꼬리 행동을 특성화한다.
• 모든 n과 κ ∈ (0,1)에 대해 P(X_(n-1) ≤ κX_(n)) = κ^α 를 만족하는 조건이 파레토 분포이자 형상 매개변수 α를 가진다. 이를 통해 특성화 정리를 도출한다.
• 볼록체 적체나 쌍별 거리와 같은 스칼라 특성을 통해 다변량 이상치 탐지 문제를 단변량 문제로 환원한다.
• 밀도 함수의 정규화 가능성을 활용하여 다중모드를 식별하고, 각 모드에 대해 제1종 이상치로 간주되는 다중모드 이상치를 정의한다.

실험 결과

연구 질문

• RQ1 의미 모호성과 주관적 거리 측정에 의존하는 것을 피할 수 있는 방법으로 '이상치'라는 용어를 공식적으로 정의할 수 있는가?
• RQ2 실제 자료에서 이상치가 나타나는 데 배경이 되는 수학적·통계적 메커니즘은 무엇인가?
• RQ3 이상치는 대수법칙과 같은 고전적 확률 법칙의 붕괴와 어떻게 연결되는가?
• RQ4 이상치의 존재를 통해 체중 꼬리 분포나 안정분포와 같은 진정한 기저 분포를 추론할 수 있는가?
• RQ5 기하학적 또는 분포적 특성에 의해 다변량 이상치 탐지가 단변량 이상치 탐지로 얼마나 잘 환원될 수 있는가?

주요 결과

• 통계 모형과 모순되는 것으로 정의된 이상치는 본질적으로 오류가 아니며, 특히 체중 꼬리나 안정분포의 경우 모형 부정확성을 시사할 수 있다.
• 정규분포보다 P(|X - x̄|/s_n > k)의 확률이 높은 것은 제1종 이상치 존재를 시사하며, 이는 체중 꼬리 행동과 관련된다.
• α ∈ (0,1)일 경우, 가장 큰 순서통계량 X_(n)이 더 작은 관측치들로 상쇄될 수 없기 때문에 대수법칙이 성립하지 않으며, 이로 인해 표본 평균이 발산한다.
• 모든 n과 κ ∈ (0,1)에 대해 P(X_(n-1) ≤ κX_(n)) = κ^α 를 만족하는 조건은 형상 매개변수 α를 가진 파레토 분포를 특성화하며, 체중 꼬리 행동을 검증하는 통계적 검정을 제공한다.
• 다중모달 분포에서는 각 모드를 중심으로 간주하고 |X - a_j|에 대해 제1종 이상치 기준을 적용함으로써 다중 이상치를 탐지할 수 있으며, 이는 비정규 행동의 다중 지점들을 드러낸다.
• 다변량 자료에서 볼록체 적체나 쌍별 거리를 사용하면 이상치 탐지 문제를 단변량 문제로 환원할 수 있으며, 이는 본 논문의 핵심 프레임워크를 유지한다.