[論文レビュー] A practical recipe to fit discrete power-law distributions

Álvaro Corral, Anna Deluca+1 more|arXiv (Cornell University)|Sep 6, 2012

Opinion Dynamics and Social Influence参考文献 9被引用数 13

ひとこと要約

本稿では、再標本化によるp値評価を伴う修正されたコルモゴロフ＝スミルノフ検定を用いて、統計的に許容できる適合を得る最小の閾値 $ a $ を選択することで、離散的パワー則分布に実用的でシミュレーションに基づく適合法を提示する。この手法は、従来の手法に比べて第一種の過誤率を低減し、フィンランド語の小説における語の頻度に対して $ a^* = 1 $、$ \beta_{\text{emp}}^* = 1.13 \pm 0.01 $ を明確に特定し、$ p > 0.20 $ の堅牢なパワー則適合を確認した。

ABSTRACT

Power laws pervade statistical physics and complex systems, but, traditionally, researchers in these fields have paid little attention to properly fit these distributions. Who has not seen (or even shown) a log-log plot of a completely curved line pretending to be a power law? Recently, Clauset et al. have proposed a method to decide if a set of values of a variable has a distribution whose tail is a power law. The key of their procedure is the identification of the minimum value of the variable for which the fit holds, which is selected as the value for which the Kolmogorov-Smirnov distance between the empirical distribution and its maximum-likelihood fit is minimum. However, it has been shown that this method can reject the power-law hypothesis even in the case of power-law simulated data. Here we propose a simpler selection criterion, which is illustrated with the more involving case of discrete power-law distributions.

研究の動機と目的

• 離散データにおける従来のパワー則適合手法の統計的信頼性の低さ、特に真のパワー則分布が過剰に棄却される問題に対処すること。
• 第一種の過誤を最小限に抑えるために、離散的パワー則分布における最小閾値 $ a $ を選択する、堅牢でシミュレーションに基づく手法を開発すること。
• 最尤推定と再標本化を用いた適合度評価を通じて、実装可能な離散的パワー則分布の適合手順を提供すること。
• 実世界のデータ、例えばフィンランド語の小説における語の頻度を対象に手法を検証し、有効なパワー則的挙動の特定にその有効性を示すこと。

提案手法

• ハーヴィッツ・ゼータ関数を含む対数尤度関数に基づき、値 $ n \geq a $ のデータに対して最尤推定を用いてパワー則指数 $ \beta_{\text{emp}} $ を推定する。
• 実証的生存関数 $ N_n/N_a $ を理論的生存関数 $ S(n; \beta_{\text{emp}}) $ と比較することで、実証的コルモゴロフ＝スミルノフ統計量 $ d_{\text{emp}} $ を計算する。
• 直接ゼータ関数の計算を避ける一般化された棄却サンプリング法を用いて、適合された離散的パワー則分布から合成データを生成する。
• 各シミュレートされたデータセットに対して適合とKS統計量の計算を繰り返し、$ d_{\text{sim}} $ 値の分布を生成する。
• p値を、$ d_{\text{sim}} > d_{\text{emp}} $ となるシミュレーションの割合として計算する。帰無仮説は、データがパワー則に従うというものである。
• 得られたp値がしきい値（例：0.20）を超える最小の $ a $ を選択し、最適な適合 $ a^* $ と $ \beta_{\text{emp}}^* $ を得る。

実験結果

リサーチクエスチョン

• RQ1 従来の手法に比べ、真のパワー則データが過剰に棄却されないより信頼性の高い離散的パワー則分布の適合法を開発できるか？
• RQ2 適合度のp値が意味のあるしきい値（例：0.20）を超える一方で $ a $ を最小限に抑える最適な閾値 $ a $ は何か？
• RQ3 再標本化とシミュレーションに基づくp値評価は、単にコルモゴロフ＝スミルノフ検定に依存するのと比べて、離散データにおけるパワー則適合の信頼性をどのように向上させるか？
• RQ4 提案手法は、自然言語テキストにおける語の頻度分布のような実世界のデータにおいて、有効なパワー則適合を適切に特定できるか？

主な発見

• 本手法は、フィンランド語小説 *Seitsemän veljestä* の語の頻度に対して、$ a^* = 1 $ および $ \beta_{\text{emp}}^* = 1.13 \pm 0.01 $ を明確に特定し、$ N_{a^*} = 22,035 $ および 81,000 個の語トークンを含む。
• 選択された $ a^* $ に対してp値が0.20を超えるため、有意水準でパワー則適合が棄却されないことが示された。
• シミュレーションに基づくp値評価により、真のパワー則データが棄却される第一種の過誤の可能性が、従来の手法よりも低減された。
• シミュレーションにおいてゼータ関数の直接計算を避けるために、変換された変数を用いた一般化された棄却サンプリング技術を採用した。
• 最終的なp値は固定された $ a $ に依存するのではなく、選択された $ a^* $ に依存するため、適合の堅牢性と解釈可能性が保証された。
• 本手法は、$ f(n) $ がパワー則であるのに対し、$ S(n) $ はそうではないが、両者とも同じ背後分布を表していることを示しており、適合における正しい関数形の重要性を強調している。