[論文レビュー] A complete data frame work for fitting power law distributions

Colin S. Gillespie|arXiv (Cornell University)|Aug 7, 2014

Complex Systems and Time Series Analysis参考文献 16被引用数 5

ひとこと要約

本稿は、全データセット全体にわたりべき乗則からのずれをモデル化することで、重い尾を持つ分布を統一的なベイズ枠組みで適合させる手法を提案する。$x_{\text{min}}$ の推定を避け、データを切り捨てる必要がなくなる。この手法により、予測モデリング、AIC/BICを用いたモデル比較、およびデータセット間での一貫性のある推論が可能となり、従来の $x_{\text{min}}$ に基づく手法に比べ、引用データおよびネットワークデータの適合性能が優れている。

ABSTRACT

Over the last few decades power law distributions have been suggested as forming generative mechanisms in a variety of disparate fields, such as, astrophysics, criminology and database curation. However, fitting these heavy tailed distributions requires care, especially since the power law behaviour may only be present in the distributional tail. Current state of the art methods for fitting these models rely on estimating the cut-off parameter $x_{\min}$. This results in the majority of collected data being discarded. This paper provides an alternative, principled approached for fitting heavy tailed distributions. By directly modelling the deviation from the power law distribution, we can fit and compare a variety of competing models in a single unified framework.

研究の動機と目的

• 従来の $x_{\text{min}}$ に基づくべき乗則適合法の限界を解決する。この手法は $x_{\text{min}}$ 以下のデータを切り捨てており、モデル比較を困難にしている。
• 重い尾を持つベースライン（例：べき乗則や対数正規分布）からのずれを、全経験的分布として一貫した枠組みでモデル化する、原理的で統合的なフレームワークを構築する。
• $x_{\text{min}}$ の推定ステップを回避することで、AIC や BIC、予測推論といった標準的な統計的手法の利用を可能にする。
• 異なる $x_{\text{min}}$ 値を持つモデル同士を直接比較でき、全データ範囲における予測を可能にする。
• バッチ化された観測値やノイズの多い観測値といった複雑なデータ構造を、整合的なベイズ推論パイプラインに統合する。

提案手法

• モデルは $ f(x;\boldsymbol{\theta},\boldsymbol{\phi}) = \frac{g(x;\boldsymbol{\theta}) \times D(x;\boldsymbol{\phi})}{C(\boldsymbol{\theta},\boldsymbol{\phi})} $ として定義され、$g$ は重い尾を持つ分布（例：べき乗則）であり、$D$ はそのずれをモデル化する。
• ずれ関数 $D(x;\boldsymbol{\phi})$ は正である必要があり、$x \to \infty$ のとき 1 に近づくように制約され、単位指数分布のCDF や逆ロジスティック関数などの形を取る。
• MCMCサンプリングを用いたベイズ推論が実施され、$\boldsymbol{\theta}$ および $\boldsymbol{\phi}$ に事前分布を設定することで、モデルパラメータの後れ分布推定が可能になる。
• 予測分布は、$g(x;\theta)$ および $D(x;\boldsymbol{\phi})$ の後れ不確実性を統合することで得られ、全データに対する予測が可能になる。
• AIC および BIC は後れ平均から計算され、べき乗則対比対数正規分布といった競合モデル間の選択を促進する。
• 誤差モデルを尤度に組み込み、MCMCによる統合を経ることで、測定誤差やバイニングを含むデータに対しても自然に取り扱える。

実験結果

リサーチクエスチョン

• RQ1 $x_{\text{min}}$ 以下のデータを切り捨てることなく、重い尾分布を一貫した統計枠組みで適合できるか。
• RQ2 複数のデータセットで $x_{\text{min}}$ が固定されていない場合、モデル比較と予測を体系的に行えるか。
• RQ3 べき乗則からのずれを、全範囲にわたりデータ構造を捉える柔軟で解釈可能な関数としてモデル化できるか。
• RQ4 本手法は、引用やネットワーク接続といった実世界のデータに対して、従来の $x_{\text{min}}$ に基づく手法を上回る適合性能を示すか。
• RQ5 $x_{\text{min}}$ の推定を回避する枠組みにおいて、AIC や BIC といった標準的なモデル比較ツールを効果的に適用できるか。

主な発見

• 提案された枠組みは、全データセットをべき乗則からのずれとしてモデル化し、$x_{\text{min}}$ 以下のデータを切り捨てる必要がなくなることを成功裏に実現した。
• 引用データセットでは、対数正規分布に基づくモデル $M_2$ のBICは 2,917,967 であり、べき乗則モデル $M_1$（2,919,701）よりも低く、より良い適合を示した。
• 写真タグ付けネットワークでは、離散的対数正規モデル $M_3$ が最も低いBIC（167,490）を示し、べき乗則および指数的ずれを伴う対数正規モデルを上回った。
• この枠組みにより、歴史的紛争データにおける総犠牲者数の一貫した予測が可能になった。結果はフリードマンの分析と整合的であり、米国軍の犠牲者率がネイティブアメリカン部隊よりも低かった。
• 後れ推論により、$D(x;\boldsymbol{\phi})$ が米国軍ではより一貫しており、$\theta^u < 0$ であることが判明し、べき乗則からの相対的ずれが小さいことを示した。
• 誤差モデルを組み込むことで、測定誤差や丸め誤差を伴う実世界のデータに対しても、誤差を統合したフレームワークとしての適用範囲が拡張された。