[論文レビュー] Zipf's law arises naturally in structured, high-dimensional data

Laurence Aitchison, Nicola Corradi+1 more|arXiv (Cornell University)|Jul 26, 2014

Complex Network Analysis Techniques参考文献 23被引用数 11

ひとこと要約

この論文は、潜在変数モデルを用いることで、構造的で高次元なデータにおいてZipfの法則が自然に出現する理由を、シンプルで直感的な説明を提供する。観測値が観測されない潜在変数によって条件づけられている場合——言語における品詞、シーケンス長、神経細胞の放電率など——観測値の周辺分布は、きつい制約を課さない弱い条件下でも、Zipfの法則に収束することが示されている。これは、先行研究の制限的な仮定を越えて、言語、可変長シーケンス、神経データにまで拡張される。

ABSTRACT

Zipf's law, which states that the probability of an observation is inversely proportional to its rank, has been observed in many domains. While there are models that explain Zipf's law in each of them, those explanations are typically domain specific. Recently, methods from statistical physics were used to show that a fairly broad class of models does provide a general explanation of Zipf's law. This explanation rests on the observation that real world data is often generated from underlying causes, known as latent variables. Those latent variables mix together multiple models that do not obey Zipf's law, giving a model that does. Here we extend that work both theoretically and empirically. Theoretically, we provide a far simpler and more intuitive explanation of Zipf's law, which at the same time considerably extends the class of models to which this explanation can apply. Furthermore, we also give methods for verifying whether this explanation applies to a particular dataset. Empirically, these advances allowed us extend this explanation to important classes of data, including word frequencies (the first domain in which Zipf's law was discovered), data with variable sequence length, and multi-neuron spiking activity.

研究の動機と目的

• . 構造的で高次元なデータにおいてZipfの法則が出現する理由を、よりシンプルで直感的な理論的説明を提供すること。
• . これまでの研究が課していた制限的仮定（高次元性、指数型分布族の制約など）を超えて、Zipfの法則を生成可能なモデルのクラスを拡張すること。
• . 特定の潜在変数が観測されたZipfの法則にどの程度寄与しているかを定量的に評価する手法を開発すること。
• . 実世界のデータ、特に語の頻度、可変長シーケンス、多ニューロンのスパiking活動を用いて理論を実証的に検証すること。
• . このメカニズムが破綻する状況、特に高次元の自然パラメータを伴う場合や非指数型分布族の条件付き分布を伴う場合に、なぜ、いつ破綻するかを明確にすること。

提案手法

• . 観測値xが観測されない変数zによって条件づけられる潜在変数フレームワークを用い、P(x) = ∫ P(x|z)P(z) dz と定式化する。
• . これまでの研究が用いてきた複雑な統計物理学の形式を避ける新しい理論的枠組みを導入し、べき乗則の出現に向けた直感的把握を可能にする。
• . 条件付き分布P(x|z)が十分に複雑で、zに関する周辺化が広い周波数分布を生じる場合、Zipfの法則が出現することを示す。
• . 特定の潜在変数が観測されたZipfの法則に寄与する度合いを定量化する新しい指標を提案し、実証的検証を可能にする。
• . フレームワークを3つの主要なデータタイプに適用する：語の頻度（潜在変数として品詞）、可変長シーケンス（潜在変数としてシーケンス長）、高次元の神経スパikingデータ。
• . たとえP(x|z)が指数型分布族に属さず、高次元の自然パラメータを含んでも、弱い条件下でZipfの法則が依然として出現することを示し、先行研究の制約を覆す。

実験結果

リサーチクエスチョン

• RQ1 . 潜在変数モデルが、どのような条件下でべき乗則分布（Zipfの法則に一致）を自然に生成するのか？
• RQ2 . 語の頻度においてZipfの法則が出現するのはなぜか？そして、微調整やドメイン特化の仮定なしに説明可能か？
• RQ3 . 潜在変数の周辺化メカニズムは、自然言語や神経シーケンスのような可変長シーケンスデータに対しても、Zipfの法則を説明可能か？
• RQ4 . 実データセットにおいて、特定の潜在変数が観測されたZipfの法則にどの程度寄与しているかを定量的に評価するにはどうすればよいか？
• RQ5 . この理論の限界は何か？特に高次元の自然パラメータを伴うモデルでは、Zipfの法則の出現がいつ失敗するのか？

主な発見

• . 品詞を潜在変数として用いる場合、語の頻度データにおいてZipfの法則が自然に出現するが、単一の品詞に限定すると法則は破綻する。
• . 可変長シーケンスにおいては、潜在変数がシーケンス長である限り、きつい制約を課さない弱い条件下でZipfの法則が出現する。これは、スワブらの元々のモデルクラス外のモデルでも成立する。
• . この理論は、高次元で複雑なモデル、たとえば神経スパiking活動のようなモデルにも拡張可能であり、条件付き分布P(x|z)が指数型分布族に属さず、高次元の自然パラメータを含んでも成立する。
• . 複雑で高次元な条件付き分布を持つ潜在変数の周辺化ですら、べき乗則の周波数分布を生じさせることができることを示し、広範な適用可能性を示している。
• . 潜在変数がZipfの法則に寄与する度合いを定量化する新しい指標を導入し、実データセットにおけるその役割を実証的に評価可能にした。
• . 条件付き分布P(x|z)のエントロピーはzに対して弱く依存しており、これはシステムの不確実性が潜在状態にかかわらずほとんど一定であることを示し、Zipf的結果の頑健性を支持している。