[論文レビュー] Fundamental Flaws in Feller's Classical Derivation of Benford's Law

Arno Berger, Theodore P. Hill|arXiv (Cornell University)|May 14, 2010

Benford’s Law and Fraud Detection参考文献 5被引用数 5

ひとこと要約

この論文は、フェラーの古典的導出における根本的な欠陥を特定し、確率変数の分散が大きいことは、近似的にベンフォード分布に近づくことを意味しないことを示している。新しい不等式を用いて、任意に大きな分散をもつ一様分布に従う確率変数ですら、ベンフォード分布から遠ざかり続けることを証明し、確率論および統計学で広く引用されているヒューリスティックの誤りを明らかにした。

ABSTRACT

Feller's classic text 'An Introduction to Probability Theory and its Applications' contains a derivation of the well known significant-digit law called Benford's law. More specifically, Feller gives a sufficient condition ("large spread") for a random variable $X$ to be approximately Benford distributed, that is, for $\log_{10}X$ to be approximately uniformly distributed modulo one. This note shows that the large-spread derivation, which continues to be widely cited and used, contains serious basic errors. Concrete examples and a new inequality clearly demonstrate that large spread (or large spread on a logarithmic scale) does not imply that a random variable is approximately Benford distributed, for any reasonable definition of "spread" or measure of dispersion

研究の動機と目的

• フェラーの1966年の文献で主張されている『分散が大きいと近似的にベンフォード分布になる』という長年の信念に挑戦すること。
• 線形スケールあるいは対数スケールでの大きな分散が、ベンフォード的挙動を保証しないことを、反例を用いて示すこと。
• 一様分布に従う確率変数 X ~ Uniform(0,T) に対して、log₁₀X mod 1 と U(0,1) 間のコルモゴロフ・スミルノフ距離の厳密な下界を確立すること。
• フェラーの主張 (2) と、X mod 1 の一様性に関する関連するが別個の主張 (3) の間の混乱を明確にすること。
• 教育者や研究者が、教育やデータ分析において『大きな分散』というヒューリスティックに依存するのを避けるよう警告すること。

提案手法

• フェラーによるベンフォードの法則の導出を分析し、彼の主張である『大きな分散は log₁₀X mod 1 の一様性を意味する』に焦点を当てる。
• 区間 (0,T) 上の一様分布に従う確率変数を用いた明示的な反例を構築し、T がどれほど大きくても、ベンフォード分布に近づかないことを示す。
• X ~ Uniform(0,T) に対して、log₁₀X mod 1 と U(0,1) 間のコルモゴロフ・スミルノフ距離に対する新しい鋭い下界を導出する。その結果、d_KS ≥ 0.1334 が得られる。
• log₁₀T に関する KS 距離の周期性を用いて、分散を増加させても一様性への距離が減少しないことを示す。
• フェラーの導出における誤った論理と、ピンカムが以前に提示した同様に誤ったスケール不変性の議論を比較し、共通する根本的誤りを強調する。
• 実世界のデータ（例えばニューヨーク・タイムズの記事）をベンフォードの法則と照合するなど、混合過程による法則の出現を説明する代替的教育的手法を提案する。

実験結果

リサーチクエスチョン

• RQ1 確率変数の分布の分散が大きいと、その対数が modulo one で一様分布に近づくというのか？
• RQ2 区間 (0,T) 上の一様分布に従う確率変数 X が、T が非常に大きくなっても、いつのまにか近似的にベンフォード分布に近づくことはあり得るのか？
• RQ3 X ~ Uniform(0,T) のとき、log₁₀X mod 1 と U(0,1) 間のコルモゴロフ・スミルノフ距離の下限（infinimum）は何か？
• RQ4 フェラーの誤った導出が、反例が存在するにもかかわらず、40年以上にわたり学術的教育や文献に根強く残っているのはなぜか？
• RQ5 確率変数の対数スケールでの分散を増加させることは、必然的にベンフォード分布からの距離を小さくするのか？

主な発見

• 分散の尺度にかかわらず、フェラーの主張である『大きな分散は近似的にベンフォード分布を意味する』は、根本的に誤りである。
• 任意の正の一様分布に従う確率変数 X に対して、log₁₀X mod 1 と U(0,1) 間のコルモゴロフ・スミルノフ距離は、0.1334 以上という鋭い普遍定数で下から抑えられる。
• X の分散が増加しても、この距離はゼロから離れたまま保たれ、大きな分散がベンフォード的挙動をもたらさないことを証明する。
• ベンフォード分布からの距離は、分散の増加に従って単調に減少しない。例えば、Z = 10^(3Y/2) は X = 10^Y よりも大きな分散を有するが、ベンフォード的挙動は劣る。
• log₁₀X_T mod 1 と U(0,1) 間の KS 距離は、log₁₀T に関して連続的かつ1周期の周期関数であり、距離がゼロに収束しないで振動することを示している。
• この誤りが長期間にわたり残ったのは、フェラーの主張 (2) と関連的だが正しい主張 (3) の間の混乱、および確率論においてフェラーの権威への過剰な依存が要因である。