[论文解读] Marshall-Olkin Extended Zipf Distribution

Marta Pérez‐Casany, Aina Casellas|arXiv (Cornell University)|Apr 16, 2013

Statistical Distribution Estimation and Applications被引用 7

一句话总结

本文提出了一种两参数的Marshall-Olkin扩展Zipf分布（MOEZipf），通过引入更大的灵活性来建模较小整数的概率，同时保持幂律尾部行为。该方法利用Marshall-Olkin变换对分布进行偏斜，使在对数-对数尺度下早期数值呈现凹形或凸形，显著提升了在三个不同数据集（电子邮件联系人、引用次数和城市人口）上的拟合效果，卡方统计量最高降低93.7%，且AIC值始终更低。

ABSTRACT

The Zipf distribution also known as scale-free distribution or discrete Pareto distribution, is the particular case of Power Law distribution with support the strictly positive integers. It is a one-parameter distribution with a linear behaviour in the log-log scale. In this paper the Zipf distribution is generalized by means of the Marshall-Olkin transformation. The new model has more flexibility to adjust the probabilities of the first positive integer numbers while keeping the linearity of the tail probabilities. The main properties of the new model are presented, and several data sets are analyzed in order to show the gain obtained by using the generalized model.

研究动机与目标

• 为解决经典Zipf分布对前几个正整数概率建模的局限性，特别是在观测数据在对数-对数尺度下对小数值呈现非线性行为时。
• 在保持Zipf分布的无标度、幂律尾部分布特性的同时，增强分布早期部分的灵活性。
• 开发一种广义模型，允许在对数-对数尺度下对初始概率呈现凹形或凸形，从而提升真实世界数据的拟合优度。
• 在来自社交网络、引用和城市人口等不同领域的实际数据集上评估新模型的性能，并与原始Zipf分布进行比较。
• 证明通过Marshall-Olkin变换引入额外参数后，可在卡方统计量和AIC等统计拟合指标上实现显著改进。

提出的方法

• 将Marshall-Olkin变换应用于Zipf分布，引入新的形状参数β，以扩展原始的一参数Zipf模型。
• 利用Marshall-Olkin变换的一般形式，推导出新MOEZipf分布的概率质量函数（PMF）、生存函数和累积分布函数（CDF）。
• 通过保持原始Zipf分布的渐近行为，保留幂律尾部行为，确保无标度特性得以维持。
• 采用最大似然估计（MLE）和一种辅助方法进行参数估计，通过卡方拟合优度检验和AIC进行模型比较。
• 使用对数-对数图进行视觉评估，特别关注早期概率的曲率（凹形/凸形）与原始Zipf模型的线性趋势的对比。
• 对高值观测（如>65或>119）进行分组，以提高数值稳定性，并在模型评估过程中减少尾部区域的过拟合。

实验结果

研究问题

• RQ1 当观测数据在对数-对数尺度下对前几个正整数呈现非线性行为时，Marshall-Olkin变换能否改善Zipf分布的拟合效果？
• RQ2 扩展后的MOEZipf模型是否在保持原始Zipf分布幂律尾部行为的同时，允许在分布早期部分呈现灵活的曲率？
• RQ3 MOEZipf模型在多样化的真实世界数据集上的拟合优度表现与经典Zipf分布相比如何？
• RQ4 通过卡方统计量和AIC标准衡量，额外参数β的引入在多大程度上提升了模型拟合效果？
• RQ5 MOEZipf模型能否在对数-对数尺度下同时捕捉初始概率的凹形与凸形，从而更准确地反映经验数据？

主要发现

• 在电子邮件联系人数据集中，MOEZipf模型相比原始Zipf模型，卡方统计量降低了93.74%，表明拟合效果有显著提升。
• 在引用数据集中，MOEZipf模型使卡方统计量降低了87.73%，且估计的β参数达到13.058，远高于Zipf模型的β = 1。
• 所有三个数据集的AIC值均一致支持MOEZipf模型，第一组数据中AIC降低超过4,000点，引用数据集中降低超过13,000点。
• MOEZipf模型的对数-对数图在电子邮件示例中显示早期数值呈凸形，在引用示例中呈凹形，展示了原始Zipf模型无法实现的曲率灵活性。
• 该模型保持了Zipf分布的线性尾部行为，证实尽管在分布早期增加了灵活性，但无标度特性仍得以保留。
• 参数α和β的最大似然估计（MLE）优于辅助方法，基于MLE的MOEZipf模型在所有三个数据集中均获得最低的AIC值。