[논문 리뷰] Understanding heavy tails in a bounded world or, is a truncated heavy tail heavy or not?

Arijit Chakrabarty, Gennady Samorodnitsky|arXiv (Cornell University)|2010. 01. 19.

Complex Systems and Time Series Analysis참고 문헌 27인용 수 4

한 줄 요약

이 논문은 잘린 거듭제곱법(비중심형) 분포가 원래의 비중심형 분포와 동일한 주요 통계적 성질을 유지하는지 조사한다. 이는 부드러운 잘림과 딱딱한 잘림의 두 가지 상황을 구분하며, 꼬리 지수의 일致한 추정과 잘림 유형을 분류하기 위한 통계적 검정을 제안한다. 결과적으로, 부드러운 잘림은 비중심형 행동을 유지하지만, 딱딱한 잘림은 이를 약화시킨다. 이는 네트워크 데이터 세트에 대한 실증적 검증을 통해 확인된다.

ABSTRACT

We address the important question of the extent to which random variables and vectors with truncated power tails retain the characteristic features of random variables and vectors with power tails. We define two truncation regimes, soft truncation regime and hard truncation regime, and show that, in the soft truncation regime, truncated power tails behave, in important respects, as if no truncation took place. On the other hand, in the hard truncation regime much of "heavy tailedness" is lost. We show how to estimate consistently the tail exponent when the tails are truncated, and suggest statistical tests to decide on whether the truncation is soft or hard. Finally, we apply our methods to two recent data sets arising from computer networks.

연구 동기 및 목표

• 잘린 거듭제곱법 꼬리가 비잘린 비중심형 꼬리의 특성적 특징을 어느 정도 유지하는가를 판단하는 것.
• 통계적 행동에 기반해 잘림 유형을 부드러운가, 딱딱한가로 분류하는 것.
• 꼬리가 잘린 경우 꼬리 지수 α에 대한 일치한 추정기법을 개발하는 것.
• 실증 데이터에서 부드러운 잘림과 딱딱한 잘림을 구분하기 위한 통계적 검정을 제안하는 것.
• 실제 컴퓨터 네트워크 데이터 세트에서 이 프레임워크를 검증하는 것.

제안 방법

• 관측치가 정규적으로 변화하는 尾 꼬리의 i.i.d. 난수 벡터 H_j로 구성된 삼각형 배열 모델을 도입하며, 이는 수준 M_n에서 잘림된다.
• 두 가지 잘림 유형을 정의한다: 부드러운 잘림(비잘린 거듭제곱법과 유사한 꼬리 행동을 보임)과 딱딱한 잘림(비중심형 특징이 상실됨).
• 조정 파rameter β와 γ를 가진 힐 추정기(Hill estimator)를 제안하여 잘림 하에서도 꼬리 지수 α를 일치시켜 추정한다.
• 딱딱한 잘림을 검정하기 위한 검정 통계량 Z_n(A; γ)과 더 강력한 형태의 딱딱한 잘림을 검정하기 위한 Z_n(A)를 개발한다.
• 이 검정 통계량의 p-값을 사용해 딱딱한 잘림 가설의 타당성을 평가한다.
• 실제 데이터 세트 두 개에 이 프레임워크를 적용한다: 컴퓨터 네트워크의 파일 크기와 오브제트 크기이며, 실증적 꼬리 추정과 가설 검정을 수행한다.

실험 결과

연구 질문

• RQ1 잘린 거듭제곱법 꼬리가 비잘린 비중심형 꼬리의 통계적 특징을 어느 정도 유지하는가?
• RQ2 실증 데이터에서 부드러운 잘림과 딱딱한 잘림 유형을 식별할 수 있는가?
• RQ3 데이터가 잘린 경우 꼬리 지수 α를 어떻게 일치시켜 추정할 수 있는가?
• RQ4 어떤 통계적 검정이 잘림이 부드러운지 딱딱한지 신뢰성 있게 탐지할 수 있는가?
• RQ5 잘림 하에서 타당한 추론을 위해 필요한 표본 크기와 조정 파rameter 선택은 무엇인가?

주요 결과

• 부드러운 잘림 유형에서는 잘린 거듭제곱 꼬리가 잘림이 없다는 가정 하에서 행동하므로, 비중심형 꼬리의 주요 특징을 유지한다.
• 딱딱한 잘림 유형에서는 대부분의 비중심형 행동 특징이 상실되며, 특히 극단가 통계에서 두드러진다.
• 적절히 조정된 경우 힐 추정기는 잘림이 있더라도 꼬리 지수 α에 대한 일致한 추정을 제공한다.
• 네 개의 네트워크 데이터 조각에 대한 실증적 검정 결과, 딱딱한 잘림 가설은 기각되지 않았다(p-값 > 0.25), 다만 조각 4는 더 낮은 p-값을 보였다.
• 오브제트 크기 데이터 세트(2.2×10^7 건의 관측치)에서는 부드러운 잘림이 기각되지 않았다(검정 통계량 Z_n(A1)은 A1/A 증가에 따라 증가함), 딱딱한 잘림 역시 기각되지 않았다(p-값 > 0.36).
• 더 강력한 딱딱한 잘림 가설은 ε = 0.4에서만 기각되었으며(p = 0.08), 이는 오브제트 크기 데이터에서 딱딱한 잘림에 대한 증거가 제한적임을 시사한다.