[논문 리뷰] Fitting heavy tailed distributions: the poweRlaw package

Colin S. Gillespie|arXiv (Cornell University)|2014. 07. 13.

Diffusion and Search Dynamics참고 문헌 14인용 수 105

한 줄 요약

이 논문은 최대우도추정과 철저한 가설검정을 사용하여 체중 꼬리 분포—특히 멱법칙과 로그정규분포—를 적합하고 비교하기 위한 원칙적이고 통계적인 프레임워크를 제공하는 poweRlaw R 패키지를 소개한다. 이는 연구자들이 스케일링 파라미터를 신뢰성 있게 추정하고, 최적의 하한 경계($x_{\min}$)를 선택하며, Vuong의 검정을 통해 모델을 비교할 수 있도록 해주며, 멱법칙 적합에 대한 로그-로그 플롯의 광범위한 오용 문제를 해결한다.

ABSTRACT

Over the last few years, the power law distribution has been used as the data generating mechanism in many disparate fields. However, at times the techniques used to fit the power law distribution have been inappropriate. This paper describes the poweRlaw R package, which makes fitting power laws and other heavy-tailed distributions straightforward. This package contains R functions for fitting, comparing and visualising heavy tailed distributions. Overall, it provides a principled approach to power law fitting.

연구 동기 및 목표

• 면역성에 기반한 로그-로그 플롯을 통한 멱법칙 적합의 광범위한 오용 문제를 해결하여 편향되고 신뢰할 수 없는 파라미터 추정을 방지하기 위해.
• 실제 데이터에서 체중 꼬리 분포, 특히 멱법칙을 체계적이고 통계적인 방법으로 적합하기 위한 원칙적인 접근법을 제공하기 위해.
• 체중 꼬리 분포의 적합, 비교, 시각화를 지원하는 접근성 있고 일관된 R 패키지를 개발하기 위해.
• 연구자들이 공식적인 통계 기준을 사용하여 데이터에 대해 멱법칙 또는 다른 체중 꼬리 분포가 더 잘 맞는지 테스트할 수 있도록 하기 위해.

제안 방법

• 연속형 및 이산형 멱법칙 분포에 대해 최대우도추정(MLE)을 사용하며, 이산 데이터의 경우 $x_{\min} - 0.5$를 사용한 보정된 MLE 근사치를 적용한다.
• 실제 누적분포함수와 적합된 누적분포함수 간의 거리 최소화를 통해 최적의 $x_{\min}$을 추정하기 위해 콜모고로프-스미르노프(KS) 통계량을 활용한다.
• 비포함된 모델(예: 멱법칙 대 로그정규분포)을 통계적으로 비교하기 위해 Vuong의 검정을 구현하며, 어느 모델이 진짜 데이터 생성 과정에 더 가까운지 평가한다.
• 데이터, $x_{\min}$, 파라미터 및 효율적 계산을 위한 내부 캐싱을 봉인하는 분포 객체를 위한 S4 참조 클래스를 제공한다.
• 로그우도비와 부트스트랩 절차를 통해 모델 적합도와 파라미터 불확실성을 평가함으로써 모델 비교를 지원한다.
• 일관된 객체 지향 인터페이스를 통해 PDF, CDF, 임의의 표본 생성 및 데이터 CDF를 그릴 수 있는 표준화된 메서드를 제공한다.

실험 결과

연구 질문

• RQ1 면역성에 기반한 로그-로그 플롯을 통한 멱법칙 적합에 기인한 관측 패턴이 편향된 적합 기법으로 인한 산물인지, 아니면 실질적으로 통계적으로 타당한 멱법칙 적합인지 여부는 무엇인가?
• RQ2 실제 누적분포함수와 이론적 누적분포함수 간의 이질성(차이)을 최소화하는 데 최적의 $x_{\min}$ 값은 무엇인가?
• RQ3 주어진 데이터셋에 대해 멱법칙 분포가 로그정규분포와 같은 다른 체중 꼬리 분포보다 더 나은 적합도를 보이는가?
• RQ4 실제 세계 데이터에 대해 멱법칙과 같은 경쟁적 체중 꼬리 모델을 구별하는 데 Vuong의 검정과 같은 통계적 가설검정이 신뢰성 있게 작용할 수 있는가?
• RQ5 연구자들이 주관적 또는 특수한 적합 절차를 피하기 위해 체중 꼬리 분포를 체계적으로 비교하고 검증할 수 있는 방법은 무엇인가?

주요 결과

• 패키지는 로그-로그 플롯의 함정을 피하기 위해 최대우도추정을 사용하여 멱법칙 및 기타 체중 꼬리 분포의 신뢰할 수 있는 적합을 가능하게 한다.
• 최적의 $x_{\min}$은 콜모고로프-스미르노프 통계량을 통해 추정되어 주관성을 감소시키고 모델 정확도를 향상시킨다.
• Vuong의 검정은 비포함된 모델 간의 공식적인 통계적 비교를 제공하며, Moby Dick의 단어 빈도 예제에서 p값 0.682는 멱법칙 또는 로그정규분포 중 어느 쪽에도 유의미한 선호가 없음을 시사한다.
• 패키지의 객체 지향 설계 덕분에 동일한 문법을 사용해 여러 분포를 일관되고 모듈러하게 적합할 수 있으며, 효율적인 내부 캐싱이 가능하다.
• 부트스트랩 절차를 통해 불확실성 정량화를 지원하여 파라미터 및 $x_{\min}$의 신뢰구간을 강력하게 추정할 수 있다.
• 이 프레임워크는 체계적인 모델 비교를 촉진하여 연구자들이 실제 데이터에서 멱법칙 행동을 과도하게 주장하는 것을 방지하는 데 기여한다.