[论文解读] Fundamental Flaws in Feller's Classical Derivation of Benford's Law

Arno Berger, Theodore P. Hill|arXiv (Cornell University)|May 14, 2010

Benford’s Law and Fraud Detection参考文献 5被引用 5

一句话总结

本文揭示了Feller在经典推导本福德定律过程中的根本性错误，证明随机变量的广泛分布并不意味着其近似服从本福德分布。通过一个新不等式，本文证明即使在均匀分布下，只要其范围足够大，其分布仍与本福德分布相去甚远，从而否定了概率与统计学中广泛引用的启发式方法。

ABSTRACT

Feller's classic text 'An Introduction to Probability Theory and its Applications' contains a derivation of the well known significant-digit law called Benford's law. More specifically, Feller gives a sufficient condition ("large spread") for a random variable $X$ to be approximately Benford distributed, that is, for $\log_{10}X$ to be approximately uniformly distributed modulo one. This note shows that the large-spread derivation, which continues to be widely cited and used, contains serious basic errors. Concrete examples and a new inequality clearly demonstrate that large spread (or large spread on a logarithmic scale) does not imply that a random variable is approximately Benford distributed, for any reasonable definition of "spread" or measure of dispersion

研究动机与目标

• 挑战Feller在1966年著作中提出的长期存在的观点，即大范围分布意味着近似服从本福德分布。
• 通过反例证明，无论在线性尺度还是对数尺度上，大范围分布都不能保证出现本福德行为。
• 建立对数均匀分布变量与模1均匀分布之间柯尔莫哥洛夫-斯米尔诺夫距离的严格下界。
• 澄清Feller的命题(2)与关于X mod 1均匀性的相关但不同的命题(3)之间的混淆。
• 提醒教育工作者和研究人员在教学或数据分析中避免依赖“大范围”这一启发式方法来解释本福德定律。

提出的方法

• 分析Feller推导本福德定律的过程，重点关注其主张：大范围分布意味着log₁₀X模1的均匀性。
• 通过在(0,T)上均匀分布的随机变量构造显式反例，表明无论T多大，其分布始终无法趋近本福德分布。
• 推导出X ~ Uniform(0,T)时，log₁₀X mod 1与U(0,1)之间柯尔莫哥洛夫-斯米尔诺夫距离的全新、精确下界，得出d_KS ≥ 0.1334。
• 利用KS距离作为log₁₀T的周期函数的性质，表明增加范围并不能减少与均匀性的距离。
• 将Feller推导中的错误逻辑与Pinkham早期类似但错误的尺度不变性论证进行比较，揭示其共同的理论错误根源。
• 提出替代性教学方法，例如通过测试真实数据（如《纽约时报》文章）来验证本福德定律，以说明该定律如何通过混合过程产生。

实验结果

研究问题

• RQ1 随机变量分布的广泛性是否意味着其对数在模1下服从均匀分布？
• RQ2 在(0,T)上均匀分布的随机变量X，当T足够大时，是否可能近似服从本福德分布？
• RQ3 对于X ~ Uniform(0,T)，log₁₀X mod 1与U(0,1)之间柯尔莫哥洛夫-斯米尔诺夫距离的下确界是多少？
• RQ4 为何Feller的错误推导在超过40年的时间里仍持续存在于学术教学与文献中，尽管已有反例存在？
• RQ5 在对数尺度上增加随机变量的范围，是否必然减少其与本福德分布的距离？

主要发现

• 在任何标准离散度度量下，Feller所主张的‘大范围意味着近似本福德分布’这一观点在根本上是错误的。
• 对于任意正的均匀分布随机变量X，log₁₀X mod 1与U(0,1)之间的柯尔莫哥洛夫-斯米尔诺夫距离下界为0.1334，这是一个精确的普遍常数。
• 即使X的范围不断增加，该KS距离仍与零保持有界距离，证明大范围分布并不导致本福德行为。
• 与本福德分布的距离并不随范围增加而单调减小；例如，Z = 10^(3Y/2)的范围大于X = 10^Y，但其本福德性反而更弱。
• log₁₀X_T mod 1与U(0,1)之间的KS距离是log₁₀T的连续1-周期函数，表明该距离呈振荡状态，且不会收敛至零。
• 该错误长期存在的原因部分在于混淆了Feller的命题(2)与相关但正确的命题(3)，以及过度依赖Feller在概率论中的权威地位。