[論文レビュー] Scatter and regularity imply Benford's law... and more

Nicolas Gauvrit, Jean‐Paul Delahaye|ArXiv.org|Oct 7, 2009

Benford’s Law and Fraud Detection参考文献 15被引用数 4

ひとこと要約

本稿では、連続的な確率変数における散らばり具合と滑らかさが、ベンフォードの法則への近似を満たす十分条件であると提唱し、単純な数学的定理を通じて直感的な説明を形式化している。分布が複数の数量オーダーにわたり散らばっており、かつ十分に滑らかである場合、その対数値または変換された値が1を法として一様分布に近づくため、対数特有の性質に依存せずにベンフォードの法則に近似することが可能であることを示している。

ABSTRACT

A random variable (r.v.) X is said to follow Benford's law if log(X) is uniform mod 1. Many experimental data sets prove to follow an approximate version of it, and so do many mathematical series and continuous random variables. This phenomenon received some interest, and several explanations have been put forward. Most of them focus on specific data, depending on strong assumptions, often linked with the log function. Some authors hinted - implicitly - that the two most important characteristics of a random variable when it comes to Benford are regularity and scatter. In a first part, we prove two theorems, making up a formal version of this intuition: scattered and regular r.v.'s do approximately follow Benford's law. The proofs only need simple mathematical tools, making the analysis easy. Previous explanations thus become corollaries of a more general and simpler one. These results suggest that Benford's law does not depend on properties linked with the log function. We thus propose and test a general version of the Benford's law. The success of these tests may be viewed as an a posteriori validation of the analysis formulated in the first part.

研究の動機と目的

• 散らばり具合と滑らかさを持つ連続的確率変数がベンフォードの法則に近似するという直感的な考えを形式化すること。
• 対数的または乗法的構造に依存しない、一般で数学的に単純なベンフォードの法則の説明を提供すること。
• ベンフォードの法則が対数変換を超えて一般化可能かどうかを検証する仮説を検証すること、特に平方根などの代替関数を用いること。
• スケール不変性、混合分布、中心極限定理などの既存の説明が、提案された散らばり具合と滑らかさの枠組みの特殊ケースとして導かれるかどうかを示すこと。
• 正規分布、指数分布、一様分布などの分布に対して、実験的テストを用いてベンフォードの法則の一般化を検証すること。

提案手法

• ベンフォードの法則を log(X) mod 1 の一様性として形式化し、u(X) mod 1 が一様であるような任意の関数 u(X) に一般化すること。
• 「散らばり具合」を複数の数量オーダーにわたる分布と定義し、「滑らかさ」を log(X) の確率密度関数の滑らかさとして定義すること。
• やや滑らかさと散らばり具合の条件のもとで、log(X) mod 1 の分布が一様に収束することを示す2つの定理を証明すること。
• 凸性と積分の上限を用いて、P({Y} < δ) と δ の乖離を推定し、パrameterが極限に近づくにつれて一様性に収束することを証明すること。
• 正規分布、指数分布、一様分布からの実験的サンプルに対して、Kolmogorov-Smirnov検定を用い、対数、平方根、πX² などの変換の下で検定すること。
• 大分散を持つ正規分布の絶対値が、さまざまな関数の下でベンフォードに近いかどうかを、p値と検定統計量を用いて検証すること。

実験結果

リサーチクエスチョン

• RQ1 散らばり具合と滑らかさだけが、連続的確率変数におけるベンフォードの法則への近似を説明できるか？
• RQ2 ベンフォードの法則は対数的構造に依存しているのか、それとも他の変換へ一般化可能か？
• RQ3 スケール不変性や混合分布といった既存の説明は、散らばり具合と滑らかさの枠組みの特殊ケースとして導かれるか？
• RQ4 平方根変換は、実データにおけるベンフォードに近い挙動を示すために対数よりも優れた候補であるか？
• RQ5 既知の分布（例：正規分布、指数分布）からの実験的サンプルが、さまざまな関数の下で一般化されたベンフォードの法則にどの程度近いか？

主な発見

• 本稿では、滑らかで複数の数量オーダーにわたる確率密度関数を持つ連続的確率変数について、log(X) が1を法として一様分布に近づくことを証明しており、これによりベンフォードの法則に近似することが可能である。
• Kolmogorov-Smirnov検定の結果、分散 10^8 の正規分布の絶対値は、対数変換または πX² 変換の下ではベンフォードでない（p値：0.000）が、平方根変換の下ではベンフォードである（p値：0.797）。
• テストされた正規分布において、平方根変換は対数変換よりもベンフォードの法則への適合が著しく優れているため、一般化の優れた候補である可能性が示唆される。
• P({Y} < δ) の理論的上限が、スケールパrameter μ → 0 のとき δ に収束することを示し、Y の小数部が一様分布に近づくことを確認している。
• 結果から、スケール不変性、混合分布、乗法的プロセスといった多くの古典的説明が、より広範な散らばり具合と滑らかさの原理の特殊ケースであることが示唆される。
• 理論的および実験的証拠から、ベンフォードの法則は対数変換を超えて一般化可能であり、特に平方根関数は強い実験的整合性を示している。