[论文解读] A classification of natural and social distributions Part one: the descriptions

L. Benguigui, Maria Marinov|arXiv (Cornell University)|Jul 13, 2015

Complex Systems and Time Series Analysis参考文献 61被引用 4

一句话总结

本文使用齐夫（Zipf）、累积分布函数（CDF）和概率密度函数（PDF）表示法，将自然与社会科学中的分布划分为八种类别，分析了89个案例以检验普适性。研究发现，并无单一函数能描述所有分布；仅有三分之一符合幂律分布，另有三分之一最佳拟合于对数正态类函数（如Dagum、Weibull），从而否定了幂律普适性的主张。

ABSTRACT

This paper presents an extensive survey of regular distributions in natural and social sciences. The survey includes studies from a wide scope of academic disciplines, in order to create an inventory of the different mathematical functions used to describe the distributions. The goal of the study was to determine, whether a unique function can be used to describe all the distributions (universality) or a particular function is best suited to describe the distributions in each specific field of research (domain universality). We propose a classification of distributions into eighth different categories, based on three representations: the Zipf representation, the cumulative density function (CDF) and the probability density function (PDF). In the 89 cases included in the survey, neither universality nor domain universality was found. In particular, based on the results of the survey, the claim that "power law provides a good description for majority of distributions" may be rejected. Only one third of the distributions in our survey are associated with power laws, while another third is well described by lognormal and similar functions (Dagum, Weibull, loglogistic and Gamma functions). We suggest that correct characterization of a distribution relies on two conditions. First, it is important to include the full range of the available data to avoid distortion due to arbitrary cut off values. Second, it is advisable to display the data in all three representations: the Zipf representation, the CDF and the PDF.

研究动机与目标

• 探究是否存在一种数学函数可普遍描述所有自然与社会科学中的分布。
• 评估特定函数是否最适合特定科学领域（领域普适性）。
• 建立跨多样化学术领域用于描述分布的数学函数综合清单。
• 评估广泛引用的主张——即幂律描述了大多数经验分布——的有效性。
• 确立使用完整数据范围和多种表示形式进行分布表征的最佳实践。

提出的方法

• 从自然与社会科学的多个学科中选取89个经验分布进行调查。
• 使用三种标准形式表示每个分布：齐夫表示法、累积分布函数（CDF）和概率密度函数（PDF）。
• 基于三种表示形式中的形状与函数形式，将每个分布归类为八种类别之一。
• 评估幂律、对数正态类函数（Dagum、Weibull、Loglogistic、Gamma）及其他形式的拟合优度。
• 强调使用完整数据范围的重要性，以避免因任意截断导致的偏差。
• 倡导同时使用三种表示形式（齐夫、CDF、PDF）以确保表征的准确性。

实验结果

研究问题

• RQ1 是否存在一种单一的通用函数，能够描述所有自然与社会科学中的分布？
• RQ2 特定科学领域中的特定分布是否表现出一致的函数形式（即领域普适性）？
• RQ3 幂律在各学科的经验分布中有多普遍？
• RQ4 对数正态类函数（如Dagum、Weibull）在多大程度上比幂律提供更优的拟合？
• RQ5 如何在不进行数据截断或表示偏差的前提下，准确表征经验分布？

主要发现

• 无通用函数能描述所研究的89个分布，从而否定了函数形式普适性的假设。
• 调查中仅有33%的分布能被幂律良好描述，与幂律广泛适用的常见主张相矛盾。
• 另有三分之一（约33%）的分布最佳拟合于对数正态类函数，包括Dagum、Weibull、Loglogistic和Gamma分布。
• 其余三分之一的分布则由其他函数形式最佳拟合，表明分布行为存在显著多样性。
• 使用截断的数据范围会导致结论失真，尤其在拟合幂律时更为明显。
• 同时展示数据在齐夫、CDF和PDF三种表示形式中，对于实现准确且无偏的分布表征至关重要。