[논문 리뷰] Two samples test for discrete power-law distributions

Alessandro Bessi|arXiv (Cornell University)|2015. 03. 02.

Complex Network Analysis Techniques참고 문헌 7인용 수 9

한 줄 요약

이 논문은 이산적 설정에서 콜모고로프-스미르노프 검정의 한계를 해결하기 위해, 두 개의 이산 표본이 동일한 파워-법칙 분포에서 유래되었는지 여부를 판단하기 위한 로그-우도 비율 기반 통계적 검정을 제안한다. 귀무가설 하에서 검정 통계량은 자유도가 1인 카이제곱분포를 따르며, 척도 매개변수의 동일성에 대한 신뢰할 수 있는 추론을 가능하게 한다.

ABSTRACT

Power-law distributions occur in wide variety of physical, biological, and social phenomena. In this paper, we propose a statistical hypothesis test based on the log-likelihood ratio to assess whether two samples of discrete data are drawn from the same power-law distribution.

연구 동기 및 목표

• 동일한 파워-법칙 분포에서 유래된 표본 간의 연결성과 근사 p-값 문제로 인해 콜모고로프-스미르노프 검정이 이점이 되지 못하는 문제를 해결하기 위해.
• 이산적 파워-법칙 데이터에 특화된 공식적인 통계적 가설 검정을 개발하기 위해.
• 두 표본이 동일한 기초 파워-법칙 분포에서 유래되었는지 평가하기 위해 비교할 수 있도록 하기 위해.
• 최대우도 기반으로 척도 매개변수를 추정하고, 이러한 매개변수의 동일성을 검정하는 방법을 제공하기 위해.

제안 방법

• 모든 표본을 합친 경우(귀무가설)와 별도의 표본들(대립가설)의 로그-우도를 기반으로 한 우도 비율 검정을 수립한다.
• 이산적 파워-법칙 분포에서 척도 매개변수 α에 대한 최대우도추정기(MLE)를 사용하며, 다음 근사식을 적용한다: $\hat{\alpha} \simeq 1 + n \left[ \sum_{i=1}^{n} \ln \frac{x_i}{x_{\text{min}} - \frac{1}{2}} \right]^{-1}$.
• 검정 통계량 $\Lambda = -2 \times l(H_0|s_1 \cup s_2) + 2 \times (l(H_1|s_1) + l(H_1|s_2))$ 를 계산하며, 이는 귀무가설 하에서 점차적으로 $\chi^2(1)$ 분포를 따르게 된다.
• 이산적 파워-법칙의 확률질량함수를 정의하기 위해 일반화된 제타 함수 $\zeta(\alpha, x_{\text{min}}) = \sum_{n=0}^{\infty} (n + x_{\text{min}})^{-\alpha}$ 를 사용한다.
• 꼬리 행동의 시각적 및 분석적 평가를 위해 보완적 누적분포함수 $P(x) = \frac{\zeta(\alpha, x)}{\zeta(\alpha, x_{\text{min}})}$ 를 적용한다.
• 진짜 값이 알려진 두 가지 시뮬레이션 예제를 통해 검정을 검증한다: 하나는 두 표본이 동일한 분포에서 유래된 경우, 다른 하나는 서로 다른 분포에서 유래된 경우.

실험 결과

연구 질문

• RQ1 두 개의 이산 표본이 동일한 파워-법칙 분포에서 유래되었는지 여부를 신뢰성 있게 비교할 수 있는 통계적 검정이 존재하는가?
• RQ2 제안된 로그-우도 비율 검정은 동일한 파워-법칙 분포에서 유래된 표본과 다른 파워-법칙 분포에서 유래된 표본을 얼마나 잘 구분하는가?
• RQ3 동일한 척도 매개변수를 가진 귀무가설 하에서 검정 통계량의 점근적 분포는 무엇인가?
• RQ4 이 검정은 이산 데이터에 대해 콜모고로프-스미르노프 검정보다 유효성과 정확성 측면에서 어떻게 비교되는가?
• RQ5 표본이 서로 다른 α 값을 가진 파워-법칙에서 유래된 경우, 검정의 실증적 성능은 어떻게 되는가?

주요 결과

• 예제 1에서는 $\alpha = 2$ 인 파워-법칙에서 크기가 $10^5$ 인 두 표본을 추출한 결과, 검정 통계량 $\Lambda = 0.0065$ 이고 p-값은 0.936이었으며, 귀무가설을 기각하지 못했다.
• 예제 2에서는 $\alpha_1 = 2$ 와 $\alpha_2 = 2.05$ 인 파워-법칙에서 표본을 추출한 결과, 검정 통계량 $\Lambda = 149.49$ 이고 p-값은 $10^{-3}$ 이하였으며, 귀무가설을 기각했다.
• 첫 번째 예제에서 추정된 척도 매개변수는 $\hat{\alpha}_{s_1} = 1.997852$ 와 $\hat{\alpha}_{s_2} = 1.99816$ 였으며, 참값인 $\alpha = 2$ 와 매우 유사한 결과를 보였다.
• 두 번째 예제에서 추정된 척도 매개변수는 $\hat{\alpha}_{s_1} = 2.003242$ 와 $\hat{\alpha}_{s_2} = 2.051032$ 였으며, 명백한 차이를 보였다.
• 귀무가설 하에서 검정 통계량 $\Lambda$ 는 점차적으로 $\chi^2(1)$ 분포를 따르며, 이는 유의수준 검정에의 적용 가능성을 검증한다.
• 중간 크기의 표본에서도 척도 매개변수의 차이를 효과적으로 감지할 수 있으며, 두 번째 예제에서 높은 통계적 검정력을 보였다.