[논문 리뷰] Modified Lomax Model: A heavy-tailed distribution for fitting large-scale real-world complex networks

Swarup Chattopadhyay, Tanujit Chakraborty외 2명|arXiv (Cornell University)|2019. 11. 28.

Complex Network Analysis Techniques참고 문헌 61인용 수 7

한 줄 요약

이 논문은 실제 복잡한 네트워크의 전체 도수 분포를 낮은 도수를 가진 노드를 제거하지 않고 모델링하기 위해 계층적 라모프스 분포 가족에서 유도된 수정된 라모프스(MLM) 분포를 제안한다. 비선형 형태 매개변수를 도입함으로써 MLM은 고도의 꼬리, 비선형적인 행동을 더 효과적으로 포착하여 고전적 멱법칙 또는 기타 첨도 분포보다 낮은 피팅 오차를 달성한다. 이는 50개의 실세계 네트워크에서 검증되었다.

ABSTRACT

Real-world networks are generally claimed to be scale-free, meaning that the degree distributions follow the classical power-law, at least asymptotically. Yet, closer observation shows that the classical power-law distribution is often inadequate to meet the data characteristics due to the existence of a clearly identifiable non-linearity in the entire degree distribution in the log-log scale. The present paper proposes a new variant of the popular heavy-tailed Lomax distribution which we named as the Modified Lomax (MLM) distribution that can efficiently capture the crucial aspect of heavy-tailed behavior of the entire degree distribution of real-world complex networks. The proposed MLM model, derived from a hierarchical family of Lomax distributions, can efficiently fit the entire degree distribution of real-world networks without removing lower degree nodes as opposed to the classical power-law based fitting. The MLM distribution belongs to the maximum domain of attraction of the Frechet distribution and is right tail equivalent to Pareto distribution. Various statistical properties including characteristics of the maximum likelihood estimates and asymptotic distributions have also been derived for the proposed MLM model. Finally, the effectiveness of the proposed MLM model is demonstrated through rigorous experiments over fifty real-world complex networks from diverse applied domains.

연구 동기 및 목표

• 로그-로그 플롯에서의 비선형성으로 인해 고전적 멱법칙 분포가 실제 복잡한 네트워크의 전체 도수 분포를 피팅하는 데 부적절한 점을 해결하기 위해.
• 낮은 도수를 가진 노드를 제거하지 않고도 전체 범위의 노드 도수를 포착할 수 있는 유연하고 첨도가 높은 분포를 개발하기 위해.
• 비선형 형태 매개변수를 가진 수정된 라모프스 분포를 제안하여 복잡한 네트워크 도수 분포의 모델링 정확도를 향상시키기 위해.
• 다양한 실세계 네트워크에서 멱법칙, 라모프스, 로그정규, 기타 첨도 분포와 비교해 복잡한 네트워크 도수 분포 피팅 성능이 뛰어난 MLM 모델의 성능을 입증하기 위해.

제안 방법

• MLM 분포는 형태 매개변수를 데이터의 비선형 함수로 표현한 계층적 라모프스 분포 가족에서 유도된다.
• 이론적으로 MLM 분포는 프레체트 분포의 최대 영역의 존재에 속하며, 페레토 분포와 오른쪽 꼬리에서 동치임을 입증한다.
• 모수 추정에 최대우도추정법(MLE)을 사용하며, 변동계수(CV) > 1일 때 존재 보장이 보장된다.
• 점근적 분포 및 꼬리의 정규화 가능성과 같은 통계적 성질을 해석적으로 유도한다.
• 피팅 평가에 RMSE, KL-발산, MAE 세 가지 지표를 사용하며, 통계적 유의성을 검증하기 위해 부트스트랩 기반 카이제곱 검정을 실시한다.
• 모델은 사회, 생물, 인용, 웹 네트워크 등 다양한 분야의 50개의 실세계 네트워크에 적용된다.

실험 결과

연구 질문

• RQ1 비선형 형태 매개변수를 가진 수정된 라모프스 분포가 고전적 멱법칙 피팅보다 실제 복잡한 네트워크의 전체 도수 분포를 더 잘 포착할 수 있는가?
• RQ2 제안된 MLM 모델이 다양한 네트워크 유형에서 라모프스, 로그정규, 멱법칙 절단형과 같은 다른 첨도 분포보다 피팅 정확도에서 뛰어나게 성능을 발휘하는가?
• RQ3 MLM 분포의 이론적 성질, 특히 꼬리 행동, MLE 존재성, 영역의 존재성에 대해 무엇이 알려져 있는가?
• RQ4 실제 네트워크의 로그-로그 도수 분포 플롯에서 관찰되는 비선형 곡률을 MLM 모델이 얼마나 잘 포착하는가?
• RQ5 낮은 도수 노드를 제거하지 않고도 기존 모델보다 통계적으로 유의미하고 피팅 오차가 낮은 대안을 제공할 수 있는가?

주요 결과

• 수정된 라모프스(MLM) 분포는 50개의 실세계 네트워크에서 RMSE, KL-발산, MAE 측면에서 멱법칙, 라모프스, 로그정규, 멱법칙 절단형 분포보다 피팅 오차를 크게 감소시켰다.
• MLM 모델은 낮은 도수 노드를 제거하지 않고도 로그-로그 도수 분포의 비선형 곡률을 포착함으로써 고전적 멱법칙 피팅의 핵심적인 한계를 극복하였다.
• 이론적 분석을 통해 MLM 분포는 첨도가 높고, 페레토 분포와 오른쪽 꼬리에서 동치이며, 프레체트 분포의 최대 영역의 존재에 속함을 확인하였다.
• 데이터의 변동계수(CV)가 1을 초과할 경우 MLM 모델의 최대우도추정치(MLE)가 존재함을 입증하여 실용적 적용 가능성을 보장하였다.
• 부트스트랩 기반 카이제곱 검정을 통해 추정된 MLM 분포의 통계적 유의성을 확인하였으며, 모든 테스트된 네트워크에서 신뢰성 있는 결과를 도출하였다.
• 매개변수 시뮬레이션을 통해 네트워크 진화 동역학의 더 정확한 특성화가 가능하며, 단계별 경험적 분석에 비해 더 민첩한 대안을 제공한다.