[論文レビュー] A classification of natural and social distributions Part one: the descriptions

L. Benguigui, Maria Marinov|arXiv (Cornell University)|Jul 13, 2015

Complex Systems and Time Series Analysis参考文献 61被引用数 4

ひとこと要約

この論文は、89件の事例を検証して普遍性をテストするため、自然科学および社会科学の分布をZipf、CDF、PDF表現を用いて8つのカテゴリに分類する。すべての分布を記述する単一の関数は存在しないことが判明。パワー則に従うのは全体の3分の1にとどまり、残りの3分の1はダム、ワイブルなどの対数正規に類似した関数（例：Dagum、Weibull）で最もよく適合する。これにより、広範なパワー則の普遍性という主張は否定される。

ABSTRACT

This paper presents an extensive survey of regular distributions in natural and social sciences. The survey includes studies from a wide scope of academic disciplines, in order to create an inventory of the different mathematical functions used to describe the distributions. The goal of the study was to determine, whether a unique function can be used to describe all the distributions (universality) or a particular function is best suited to describe the distributions in each specific field of research (domain universality). We propose a classification of distributions into eighth different categories, based on three representations: the Zipf representation, the cumulative density function (CDF) and the probability density function (PDF). In the 89 cases included in the survey, neither universality nor domain universality was found. In particular, based on the results of the survey, the claim that "power law provides a good description for majority of distributions" may be rejected. Only one third of the distributions in our survey are associated with power laws, while another third is well described by lognormal and similar functions (Dagum, Weibull, loglogistic and Gamma functions). We suggest that correct characterization of a distribution relies on two conditions. First, it is important to include the full range of the available data to avoid distortion due to arbitrary cut off values. Second, it is advisable to display the data in all three representations: the Zipf representation, the CDF and the PDF.

研究の動機と目的

• 自然および社会科学の分布を一貫して記述できる単一の数学的関数が存在するかを調査すること。
• 特定の科学分野における特定の関数が、その分野の分布に特に適しているかどうか（分野の普遍性）を評価すること。
• 多様な学術分野で分布を記述するために用いられる数学的関数の包括的インventryを作成すること。
• パワー則が多数の経験的分布を記述すると広く引用されている主張の妥当性を評価すること。
• 全データ範囲を用いて分布を特徴付ける際の最良の実践法を確立すること。

提案手法

• 自然および社会科学の複数分野にまたがる89件の経験的分布を調査した。
• 各分布を3つの標準的表現形式（Zipf表現、累積分布関数（CDF）、確率密度関数（PDF））で表現した。
• 3つの表現形式における形状および関数的形態に基づき、各分布を8つのカテゴリのいずれかに分類した。
• パワー則、対数正規に類似した関数（Dagum、Weibull、ログログスティック、ガンマ）、その他の形態の適合度を評価した。
• 任意の切り捨てによる偏りを避けるために、全データ範囲の使用の重要性を強調した。
• 正確な特徴付けを保証するため、Zipf、CDF、PDFの3つの表現を同時に使用することを提唱した。

実験結果

リサーチクエスチョン

• RQ1 自然および社会科学の分布をすべて記述できる単一の普遍的関数が存在するか？
• RQ2 特定の科学分野における特定の分布が一貫した関数的形態を示すのか（分野の普遍性）？
• RQ3 パワー則は、分野をまたいで経験的分布にどの程度広く見られるか？
• RQ4 ダム、ワイブルなどの対数正規に類似した関数（例：Dagum、Weibull）は、パワー則よりもどの程度適合度が優れているか？
• RQ5 データの切り捨てや表現バイアスなしに、経験的分布を正確に特徴付ける最良の実践法は何か？

主な発見

• 調査された89件の分布をすべて記述する普遍的関数は存在せず、普遍的関数形態の仮説は否定された。
• 調査された分布のうち、パワー則でよく説明できるのはわずか33％にとどまり、広範なパワー則適用という一般的な主張と矛盾する。
• 残りの3分の1（約33％）は、ダム、ワイブル、ログログスティック、ガンマ分布などの対数正規に類似した関数で最もよく記述された。
• 残りの3分の1の分布は、他の関数的形態で最もよく適合し、分布行動の顕著な多様性が示された。
• データ範囲を切り捨てると、特にパワー則の適合度評価において歪んだ結論が導かれる。
• 正確で偏りのない分布特徴付けを行うには、Zipf、CDF、PDFの3つの表現すべてを表示することが不可欠である。