[论文解读] Benford or not Benford: a systematic but not always well-founded use of an elegant law in experimental fields

Stéphane Blondeau Da Silva|arXiv (Cornell University)|Apr 16, 2018

Benford’s Law and Fraud Detection参考文献 22被引用 4

一句话总结

本文提出一个概率模型，表明在上界受限的自然发生数据中，首位数的分布更准确地遵循依赖于上界 $ n $ 的定律，而非本福德定律。该模型使用在随机选择的范围 $[1, i]$ 上的离散均匀分布，其中 $ i \leq n $，表明观察到的与本福德定律的偏差是系统性的、可预测的，而非随机的，且上界使得该分布比本福德的对数定律具有更好的拟合效果。

ABSTRACT

In this paper, we will see that the proportion of d as leading digit, d $\\in$ 1, 9, in data (obtained thanks to the hereunder developed model) is more likely to follow a law whose probability distribution is determined by a specific upper bound, rather than Benford's Law. These probability distributions fluctuate around Benford's value as can often be observed in the literature in many naturally occurring collections of data (where the physical , biological or economical quantities considered are upper bounded). Knowing beforehand the value of the upper bound can be a way to find a better adjusted law than Benford's one.

研究动机与目标

• 调查为何尽管本福德定律被广泛使用，经验数据仍常常偏离本福德定律。
• 开发一个考虑自然发生数据中上界限制的概率模型，解释首位数频率的系统性波动。
• 证明本福德定律并非普遍最优，且依赖于边界的分布对上界受限的数据提供了更好的拟合。
• 形式化本福德定律作为近似出现的条件，以及在何种情况下其他定律在结构上更为合适。

提出的方法

• 该模型定义了一个概率空间 $ \Omega_n $，其中每个结果 $ (i,j) $ 由一个随机选择的范围 $[1,i]$ 和一个在 $[1,i]$ 上均匀分布的值 $ j $ 组成，且 $ i \in [1,n] $。
• 从 $ j $ 中提取首位数 $ d \in \{1,\dots,9\} $，并计算 $ d $ 作为首位数的长期比例，表示为 $ \tilde{C}_{(d,n)} $。
• 通过调和级数近似和对数积分，推导出 $ \tilde{C}_{(d,n)} $ 的理论渐近表达式，特别涉及 $ \sum_{i=a}^{b} \frac{1}{i} \sim \ln(b/a) $。
• 通过引入上界 $ n $，该模型推广了本福德分布，形成一族分布 $ (P_{(d,n)})_{d=1}^9 $，其围绕本福德的值波动。
• 分析使用分段求和方法，对区间 $[d \cdot 10^k, (d+1) \cdot 10^k)$ 求和，以计算首位数概率，并推导出当 $ n \to \infty $ 时的渐近行为。
• 本文将推导出的分布与本福德定律进行比较，表明 $ \tilde{C}_{(d,n)} \sim \widehat{C}_{(d,n)} $，其中 $ \widehat{C}_{(d,n)} $ 收敛到一个依赖于边界的表达式，包含对数项和常数 $ \alpha_d, \beta_d $。

实验结果

研究问题

• RQ1 为何经验数据集即使被认为符合本福德定律，仍系统性地偏离本福德定律？
• RQ2 当数据具有上界时，能否推导出更精确的首位数频率分布？
• RQ3 数据集的上界 $ n $ 如何影响首位数的概率分布？
• RQ4 在何种条件下本福德定律作为近似成立，而在何种情况下其结构上不充分？

主要发现

• 在上界受限的数据中，$ d $ 作为首位数的比例收敛到依赖于上界 $ n $ 的分布，而非本福德定律。
• 对于 $ d=1 $，极限比例 $ \tilde{C}_1 \approx 0.281 $，小于本福德定律的 $ 0.301 $，表明存在系统性偏差。
• 该模型表明，首位数频率的波动是可预测的，且由上界 $ n $ 结构性决定，而非随机噪声。
• 渐近分布 $ \tilde{C}_{(d,n)} $ 收敛到一个包含对数项和常数 $ \alpha_d, \beta_d $ 的闭式表达式，其值取决于 $ d $ 和 $ n $。
• 对于具有已知上界的实测数据，推导出的分布 $ P_{(d,n)} $ 比本福德定律提供更优的拟合，尤其在物理、生物和经济系统中表现更佳。
• 结果证实，本福德定律并非普遍定律，而是一种近似，无法捕捉现实世界数据中因上界存在而产生的系统性偏差。