[논문 리뷰] A complete data frame work for fitting power law distributions

Colin S. Gillespie|arXiv (Cornell University)|2014. 08. 07.

Complex Systems and Time Series Analysis참고 문헌 16인용 수 5

한 줄 요약

이 논문은 전체 데이터 세트에서 멱법칙에서의 이탈을 모델링하여 무거운 尾를 가진 분포를 적합시키기 위한 통합 베이지안 프레임워크를 제안한다. 이는 $x_{\text{min}}$를 추정하고 데이터를 기각할 필요 없이, 예측 모델링, AIC/BIC를 통한 모델 비교, 데이터 간 일관된 추론을 가능하게 한다. 기존의 $x_{\text{min}}$ 기반 접근 방식보다 인용 및 네트워크 데이터 적합에서 뛰어난 성능을 보였다.

ABSTRACT

Over the last few decades power law distributions have been suggested as forming generative mechanisms in a variety of disparate fields, such as, astrophysics, criminology and database curation. However, fitting these heavy tailed distributions requires care, especially since the power law behaviour may only be present in the distributional tail. Current state of the art methods for fitting these models rely on estimating the cut-off parameter $x_{\min}$. This results in the majority of collected data being discarded. This paper provides an alternative, principled approached for fitting heavy tailed distributions. By directly modelling the deviation from the power law distribution, we can fit and compare a variety of competing models in a single unified framework.

연구 동기 및 목표

• 기본적인 $x_{\text{min}}$ 기반 멱법칙 적합 방식이 임계값 이하의 데이터를 기각함으로써 모델 비교를 어렵게 하는 한계를 해결하기 위해.
• 무거운 尾를 가진 기초 분포(예: 멱법칙 또는 로그정규분포)에서의 전체 경험적 분포의 이탈을 모델링하는 원칙적이고 통합된 프레임워크를 개발하기 위해.
• $x_{\text{min}}$ 추정 단계를 피함으로써 AIC, BIC 및 예측 추론과 같은 표준 통계 도구의 사용을 가능하게 하기 위해.
• 다른 $x_{\text{min}}$ 값을 가진 모델 간 직접 비교를 가능하게 하고, 전체 데이터 범위에서의 예측을 지원하기 위해.
• 이질적인 데이터 구조(예: 빈도화되거나 노이즈가 있는 관측치)를 일관된 베이지안 추론 파이프라인 내에 통합하기 위해.

제안 방법

• 모델은 $ f(x;\boldsymbol{\theta},\boldsymbol{\phi}) = \frac{g(x;\boldsymbol{\theta}) \times D(x;\boldsymbol{\phi})}{C(\boldsymbol{\theta},\boldsymbol{\phi})} $로 정의되며, 여기서 $g$는 멱법칙 등 무거운 尾를 가진 분포이고, $D$는 그로부터의 이탈을 모델링한다.
• 이탈 함수 $D(x;\boldsymbol{\phi})$는 양수여야 하며 $x \to \infty$일 때 1으로 수렴하도록 제약을 두며, 단위 지수 분포의 누적분포함수 또는 역로지스틱 함수와 같은 형태를 가질 수 있다.
• MCMC 샘플링을 사용한 베이지안 추론가 수행되며, $\boldsymbol{\theta}$와 $\boldsymbol{\phi}$에 대한 사전분포를 설정하여 모델 파라미터의 사후 분포 추정이 가능하다.
• 예측 분포는 $g(x;\theta)$와 $D(x;\boldsymbol{\phi})$의 사후 불확실성에 대해 통합하여 도출되며, 전체 데이터에 대한 예측이 가능하다.
• 사후 평균에서 계산된 AIC와 BIC를 통해 모델 비교가 가능해져, 멱법칙 대비 로그정규분포와 같은 경쟁 모델 간의 선택이 수월해진다.
• 오차 모델을 가능성에 통합하고 MCMC를 통해 통합함으로써 측정 오차 또는 빈도화된 데이터를 자연스럽게 처리할 수 있다.

실험 결과

연구 질문

• RQ1 임계값 $x_{\text{min}}$ 이하의 데이터를 기각하지 않고도 전체 데이터 세트를 무거운 尾 분포에 적합시키는 통합 통계 프레임워크를 개발할 수 있는가?
• RQ2 다양한 데이터 세트에서 $x_{\text{min}}$가 고정되어 있지 않을 경우, 모델 비교와 예측을 체계적으로 수행할 수 있는가?
• RQ3 전체 범위에서 데이터의 구조를 포괄하는 유연하고 해석 가능한 함수로 멱법칙에서의 이탈을 모델링할 수 있는가?
• RQ4 이 방법은 기존의 $x_{\text{min}}$ 기반 방법보다 실제 인용 및 네트워크 연결 데이터 적합에서 뛰어난 성능을 보이는가?
• RQ5 측정 오차 추정을 피하는 프레임워크에서 AIC 및 BIC와 같은 표준 모델 비교 도구를 효과적으로 적용할 수 있는가?

주요 결과

• 제안된 프레임워크는 $x_{\text{min}}$ 이하의 데이터를 기각하지 않고도 전체 데이터 세트를 멱법칙에서의 이탈로 성공적으로 모델링하였다.
• 인용 데이터 세트에서 로그정규기반 모델 $M_2$의 BIC는 2,917,967이었고, 이는 멱법칙 모델 $M_1$의 2,919,701보다 낮아 더 나은 적합도를 나타냈다.
• 사진 태깅 네트워크의 경우, 이산 로그정규 모델 $M_3$의 BIC가 167,490으로 가장 낮아 멱법칙 및 지수 이탈 모델을 포함한 다른 모델들보다 뛰어난 성능을 보였다.
• 이 프레임워크는 역사적 갈등 데이터에서 총 사망자 수를 일관되게 예측할 수 있었으며, 프리드먼의 분석 결과와 일치했고, 미국군의 사망률이 원주율 부족군 대비 낮게 나타났다.
• 사후 추론 결과, 미국군의 경우 이탈 함수 $D(x;\boldsymbol{\phi})$가 더 일관되었으며, $\theta^u < 0$로 나타나 멱법칙에서 상대적으로 낮은 이탈을 보였다.
• 오차 모델을 통합함으로써 측정 오차 및 빈도화된 데이터를 처리할 수 있어, 노이즈 또는 반올림이 있는 실제 데이터에 대한 적용 가능성이 확장되었다.