[论文解读] Chains of distributions, hierarchical Bayesian models and Benford's Law

Dennis Jang, Jung Uk Kang+3 more|arXiv (Cornell University)|May 27, 2008

Benford’s Law and Fraud Detection参考文献 32被引用 15

一句话总结

本文证明了随着层级数量的增加，概率分布链和层次贝叶斯模型的首位数分布会收敛到本福德定律。通过梅林变换和中心极限定理的类比，作者展示了快速收敛——通过梅林变换求和中的误差项进行量化——表明本福德定律在马尔可夫链蒙特卡洛过程中自然出现，并为模型有效性提供检验方法。

ABSTRACT

Kossovsky recently conjectured that the distribution of leading digits of a chain of probability distributions converges to Benford's law as the length of the chain grows. We prove his conjecture in many cases, and provide an interpretation in terms of products of independent random variables and a central limit theorem. An interesting consequence is that in hierarchical Bayesian models priors tend to satisfy Benford's Law as the number of levels of the hierarchy increases, which allows us to develop some simple tests (based on Benford's law) to test proposed models. We give explicit formulas for the error terms as sums of Mellin transforms, which converges extremely rapidly as the number of terms in the chain grows. We may interpret our results as showing that certain Markov chain Monte Carlo processes are rapidly mixing to Benford's law.

研究动机与目标

• 严格证明科索夫斯基猜想：即随着链长度增加，分布链收敛到本福德定律。
• 通过乘积结构和梅林变换分析，为本福德定律在层次贝叶斯模型中的出现提供理论基础。
• 利用从梅林变换导出的显式误差项，量化收敛到本福德定律的速度。
• 证明马尔可夫链蒙特卡洛过程会快速混合至首位数服从本福德分布，从而实现统计模型检验。
• 将结果推广至涉及随机变量幂次的广义链，在较弱条件下仍保持收敛性。

提出的方法

• 使用梅林变换分析依赖随机变量链中首位数的分布。
• 应用泊松求和公式与傅里叶分析，将首位数的累积分布函数表示为复值梅林变换的形式。
• 通过将分布分解为非零傅里叶模态的贡献，推导误差界，表明误差随链长度呈指数衰减。
• 通过引理A.1，建立分布链与独立随机变量乘积之间的等价性。
• 通过参数r(m)调整梅林变换的取值点，将结果推广至涉及随机变量幂次的链。
• 利用黎曼ζ函数和几何级数估计，控制高阶傅里叶模态的尾部贡献。

实验结果

研究问题

• RQ1 随着链长度增加，依赖概率分布链的首位数分布是否收敛到本福德定律？
• RQ2 若先验分布可能收敛至本福德行为，能否利用本福德定律对层次贝叶斯模型进行一致性检验？
• RQ3 此类链中收敛到本福德定律的速度如何？能否通过显式误差项进行量化？
• RQ4 对随机变量取整数次幂等变换，如何影响链模型中收敛到本福德定律的特性？
• RQ5 马尔可夫链蒙特卡洛过程在多大程度上表现出快速混合，使首位数趋近于本福德分布？

主要发现

• 在满足较弱正则性条件下，随着链长度增加，分布链的首位数分布收敛到本福德定律，证实了科索夫斯基猜想。
• 收敛误差随链长度呈指数衰减，其界由涉及$ (2.9)^{-n} $和$ (2.7)^{-n} $的项控制，表明收敛速度很快。
• 对于$ n $个独立同分布的指数随机变量之和，首位数分布以误差界$ \frac{k}{s} \frac{(\text{log} k)^{n-1}}{\text{Gamma}(n)} + \text{Err}\big( (2.9)^{-n} + \frac{\text{Zeta}(n)-1}{2.7^n} \big) \times 2\text{log}_{10}s $逼近本福德定律。
• 变换后随机变量$ U = W^r $的梅林变换满足$ (\text{M}\tilde{\psi}_r)(s) = (\text{M}\tilde{\phi})(r(s-1)+1) $，保持了收敛性分析所需的结构。
• 随着层次水平数的增加，层次贝叶斯模型的先验分布满足本福德定律，从而可基于本福德符合性开发新的模型验证方法。
• 结果表明，许多马尔可夫链蒙特卡洛过程在首位数分布上快速混合至本福德定律，仅需少量迭代即可获得良好近似。