[論文レビュー] Benford or not Benford: a systematic but not always well-founded use of an elegant law in experimental fields

Stéphane Blondeau Da Silva|arXiv (Cornell University)|Apr 16, 2018

Benford’s Law and Fraud Detection参考文献 22被引用数 4

ひとこと要約

本稿では、上界が存在する自然に発生するデータの先頭桁の分布が、ベンフォードの法則よりも上界 $ n $ に依存する法則に従う確率的モデルを提案する。このモデルは、$ i \leq n $ を満たすランダムに選ばれた範囲 $[1, i]$ 上の離散一様分布を用い、ベンフォードの法則からの観察されたずれがランダムではなく体系的かつ予測可能であることを示している。上界が存在することで、ベンフォードの対数法則よりもより適切な分布が得られる。

ABSTRACT

In this paper, we will see that the proportion of d as leading digit, d $\\in$ 1, 9, in data (obtained thanks to the hereunder developed model) is more likely to follow a law whose probability distribution is determined by a specific upper bound, rather than Benford's Law. These probability distributions fluctuate around Benford's value as can often be observed in the literature in many naturally occurring collections of data (where the physical , biological or economical quantities considered are upper bounded). Knowing beforehand the value of the upper bound can be a way to find a better adjusted law than Benford's one.

研究の動機と目的

• 実証的データが広く用いられているにもかかわらず、なぜベンフォードの法則からしばしば逸脱するのかを調査すること。
• 自然に発生するデータに上界が存在する場合に、それを考慮した確率的モデルを構築し、先頭桁頻度の体系的変動を説明すること。
• ベンフォードの法則が普遍的に最適ではないこと、および上界依存の分布が上界付きデータに対してより良い適合を示すことの証明。
• ベンフォードの法則が近似として出現する条件と、構造的により適切な別の法則が適用される条件を形式化すること。

提案手法

• モデルは、各結果 $ (i,j) $ がランダムに選ばれた範囲 $[1,i]$ と、$ i \in [1,n] $ を満たす一様分布の値 $ j \in [1,i] $ から成る確率空間 $ \Omega_n $ を定義する。
• 先頭桁 $ d \in \{1,\dots,9\} $ は $ j $ から抽出され、長期間にわたる $ d $ の最初の桁としての頻度の割合は $ \tilde{C}_{(d,n)} $ として計算される。
• 調和級数の近似と対数積分を用いて、$ \tilde{C}_{(d,n)} $ の理論的漸近的表現が導出され、特に $ \sum_{i=a}^{b} \frac{1}{i} \sim \ln(b/a) $ を含む。
• 上界 $ n $ を組み込んだことで、ベンフォード分布が一般化され、$ (P_{(d,n)})_{d=1}^9 $ という一連の分布が得られ、これらはベンフォードの値の周囲を振動する。
• 先頭桁確率を計算するために、区間 $[d \cdot 10^k, (d+1) \cdot 10^k)$ における区分的合計が用いられ、$ n \to \infty $ における漸近的挙動が導出される。
• 本稿は導出された分布とベンフォードの法則を比較し、$ \tilde{C}_{(d,n)} \sim \widehat{C}_{(d,n)} $ が成り立つことを示し、$ \widehat{C}_{(d,n)} $ は対数項と定数 $ \alpha_d, \beta_d $ を含む界磁依存の式に収束する。

実験結果

リサーチクエスチョン

• RQ1 なぜ実証的データセットは、それがベンフォードの法則に従うと見なされても、体系的にベンフォードの法則から逸脱するのか？
• RQ2 データに上界が存在する場合、先頭桁頻度のより正確な分布を導出できるか？
• RQ3 データセットの上界 $ n $ が先頭桁の確率分布にどのように影響するか？
• RQ4 ベンフォードの法則が近似として出現する条件は何か？ また、いつ構造的に不適切となるのか？

主な発見

• 上界付きデータにおける $ d $ の先頭桁としての頻度は、ベンフォードの法則ではなく上界 $ n $ に依存する分布に収束する。
• 特に $ d=1 $ の場合、極限頻度 $ \tilde{C}_1 \approx 0.281 $ となり、ベンフォードの値 $ 0.301 $ よりも小さい。これは体系的ずれを示している。
• モデルは、先頭桁頻度の変動がランダムノイズではなく、上界 $ n $ によって構造的に決定される予測可能なものであることを示している。
• 漸近的分布 $ \tilde{C}_{(d,n)} $ は、対数項と定数 $ \alpha_d, \beta_d $ を含む閉形式の式に収束し、これらは $ d $ と $ n $ に依存する。
• 導出された分布 $ P_{(d,n)} $ は、物理的・生物学的・経済的システムにおいて、特に上界が既知のデータに対してベンフォードの法則よりもより良い適合を示す。
• 結果は、ベンフォードの法則が普遍的法則ではなく、現実のデータにおける上界による体系的ずれを捉えられていない近似に過ぎないことを確認している。