[论文解读] A practical recipe to fit discrete power-law distributions

Álvaro Corral, Anna Deluca+1 more|arXiv (Cornell University)|Sep 6, 2012

Opinion Dynamics and Social Influence参考文献 9被引用 13

一句话总结

该论文提出了一种实用的、基于仿真的方法，通过选择能产生统计上可接受拟合的最小阈值 $ a $，来拟合离散幂律分布，采用经修改的柯尔莫哥洛夫-斯米尔诺夫检验并结合重采样方法评估p值。该方法相较于先前的方法降低了第一类错误率，并成功识别出芬兰小说中词频的 $ a^* = 1 $，$ \beta_{\text{emp}}^* = 1.13 \pm 0.01 $，确认了幂律拟合的稳健性，$ p > 0.20 $。

ABSTRACT

Power laws pervade statistical physics and complex systems, but, traditionally, researchers in these fields have paid little attention to properly fit these distributions. Who has not seen (or even shown) a log-log plot of a completely curved line pretending to be a power law? Recently, Clauset et al. have proposed a method to decide if a set of values of a variable has a distribution whose tail is a power law. The key of their procedure is the identification of the minimum value of the variable for which the fit holds, which is selected as the value for which the Kolmogorov-Smirnov distance between the empirical distribution and its maximum-likelihood fit is minimum. However, it has been shown that this method can reject the power-law hypothesis even in the case of power-law simulated data. Here we propose a simpler selection criterion, which is illustrated with the more involving case of discrete power-law distributions.

研究动机与目标

• 为解决传统幂律拟合方法在离散数据中统计可靠性差的问题，特别是对真实幂律分布的过度拒绝。
• 开发一种稳健的、基于仿真的方法，用于选择离散幂律分布中最小阈值 $ a $，以最小化第一类错误。
• 提供一种实用且可实现的程序，通过最大似然估计和重采样方法评估拟合优度，以拟合离散幂律分布。
• 在真实世界数据（如芬兰小说中的词频）上验证该方法，证明其在识别有效幂律行为方面的有效性。

提出的方法

• 基于包含值 $ n \geq a $ 的数据，使用涉及赫维茨zeta函数的对数似然函数，通过最大似然估计法估计幂律指数 $ \beta_{\text{emp}} $。
• 通过将经验生存函数 $ N_n/N_a $ 与理论生存函数 $ S(n; \beta_{\text{emp}}) $ 比较，计算经验柯尔莫哥洛夫-斯米尔诺夫统计量 $ d_{\text{emp}} $。
• 使用避免直接计算zeta函数的广义拒绝采样方法，从拟合的离散幂律分布中生成合成数据。
• 在每个模拟数据集上重复拟合和KS统计量计算，以生成 $ d_{\text{sim}} $ 值的分布。
• 将p值计算为 $ d_{\text{sim}} > d_{\text{emp}} $ 的模拟比例，原假设为数据服从幂律分布。
• 选择使结果p值超过阈值（例如0.20）的最小 $ a $，从而得到最优拟合 $ a^* $ 和 $ \beta_{\text{emp}}^* $。

实验结果

研究问题

• RQ1 能否开发一种更可靠的离散幂律分布拟合方法，相较于现有方法，能减少对真实幂律数据的过度拒绝？
• RQ2 在保证拟合优度p值超过有意义阈值（如0.20）的同时，最小化 $ a $，最优阈值 $ a $ 是什么？
• RQ3 与仅依赖柯尔莫哥洛夫-斯米尔诺夫检验相比，重采样和基于仿真的p值评估如何提高离散数据中幂律拟合的可靠性？
• RQ4 所提出的方法是否能成功识别真实世界数据（如自然语言文本中的词频分布）中的有效幂律拟合？

主要发现

• 该方法成功识别出芬兰小说《七兄弟》中词频的 $ a^* = 1 $ 和 $ \beta_{\text{emp}}^* = 1.13 \pm 0.01 $，其中 $ N_{a^*} = 22,035 $，共81,000个词项。
• 所选 $ a^* $ 的p值大于0.20，表明在常规显著性水平下，幂律拟合不能被拒绝。
• 基于仿真的p值评估相较于先前方法降低了第一类错误的可能性，后者已被证明会拒绝真实的幂律数据。
• 该方法通过使用变换变量的广义拒绝采样技术，避免了在模拟中直接计算zeta函数。
• 最终p值并非绑定于固定 $ a $，而是绑定于所选的 $ a^* $，从而确保了拟合的稳健性和可解释性。
• 该方法表明 $ f(n) $ 是幂律，而 $ S(n) $ 不是，但两者代表同一潜在分布，强调了在拟合中正确函数形式的重要性。