[論文レビュー] Zipf's law and criticality in multivariate data without fine-tuning

David Schwab, Ilya Nemenman+1 more|arXiv (Cornell University)|Oct 1, 2013

Diffusion and Search Dynamics被引用数 3

ひとこと要約

この論文は、パrameterの微調整を必要とせず、神経的刺激や免疫系の入力などの観察されていない隠れ変数の平均化によって、多次元生物学的データにおけるツィフトの法則が一般に生じることを提案する。統計モデルにおいてこれらの潜在変数を平均化することで、得られる確率分布は自然に指数 ≈1 のパワーロウ・ランク周波数スケーリングを示し、これは熱力学的極限において臨界性を示している、すなわち、系のレベルでの臨界性や微調整されたパrameterがなくても成立する。

ABSTRACT

The joint probability distribution of many degrees of freedom in biological systems, such as firing patterns in neural networks or antibody sequence composition in zebrafish, often follow Zipf's law, where a power law is observed on a rank-frequency plot. This behavior has recently been shown to imply that these systems reside near to a unique critical point where the extensive parts of the entropy and energy are exactly equal. Here we show analytically, and via numerical simulations, that Zipf-like probability distributions arise naturally if there is an unobserved variable (or variables) that affects the system, e. g. for neural networks an input stimulus that causes individual neurons in the network to fire at time-varying rates. In statistics and machine learning, these models are called latent-variable or mixture models. Our model shows that no fine-tuning is required, i.e. Zipf's law arises generically without tuning parameters to a point, and gives insight into the ubiquity of Zipf's law in a wide range of systems.

研究の動機と目的

• 神経活動や免疫レパートアを含む生物学的システムにおけるツィフトの法則の普遍性を、パrameterの微調整を必要とせずに説明すること。
• 観察されていない、時間的に変化する外部変数（例：刺激や環境的入力）が、多次元データにおいてパワーロウ統計を生成できるかどうかを調査すること。
• 隠れ変数を周辺化した際、熱力学的極限において、広義のエネルギーとエントロピーが等しくなることによって、臨界性が自然に生じることを示すこと。
• 独立スピン、相互作用スピン系、および実際の神経データを含む、さまざまなシステムタイプにおいて、このメカニズムが頑健に機能することを示すこと。
• ツィフトの法則が、系の内在的臨界性を示すものであると仮定するのではなく、潜在変数の平均化の結果であると提唱すること。

提案手法

• 多次元状態の連合確率を、隠れ変数 $ h $ における混合モデルとして形式化し、$ P(\boldsymbol{\sigma}|h) $ が各成分に対して条件付き独立であるようにする。
• 周辺分布 $ P(\boldsymbol{\sigma}) = \int dh\, q(h) P(\boldsymbol{\sigma}|h) $ を導出し、得られる分布がランク周波数プロットにおいてパワーロウ減衰を示すことを示す。
• 熱力学的極限（$ N \to \infty $）において積分をラプラス法で近似し、エネルギー $ E(\boldsymbol{\sigma}) $ とエントロピー $ S(E) $ が $ N $ の主要項において正確に等しくなることを示し、臨界性を示す。
• ポissonスパイクトレインモデルに復帰制約を導入して神経の復帰性を模擬し、刺激依存の発火率を隠れ変数として保持する。
• 実データを用いてモデルを検証し、同じ刺激下でのシミュレーションと、実際の順序付きスパイクパターンを比較する。
• クエンチドランダム相互作用（$ J_{ij} $）と磁場（$ h_i $）をモデルに一般化し、複雑な相互作用がある場合でもツィフトの法則が維持されることを示す。

実験結果

リサーチクエスチョン

• RQ1 パrameterの微調整がなくても、多次元生物学的データにおいてツィフトの法則が出現できるか？
• RQ2 観察されていない、時間的に変化する外部変数（例：刺激）が、観測データにおいて自然にパワーロウ統計を生じさせるか？
• RQ3 生物学的システムにおける観察されたパワーロウ行動は、内在的臨界性の兆候であるのか、それとも隠れ変数を周辺化した結果であるのか？
• RQ4 系のサイズ $ N $ と、系が隠れ変数の揺らぎに対してどれほど感受性を持つかが、ツィフトの法則の出現に与える影響は何か？
• RQ5 単純な潜在変数モデルは、非自明な相関（例：復帰性）を含む実際の神経データのランク周波数統計を再現できるか？

主な発見

• 隠れ変数 $ h $ を平均化することで、熱力学的極限（$ N \to \infty $）において、微調整を必要とせず、指数 $ \alpha \approx 1 $ のツィフトの法則が一般に出現する。
• 系のエネルギー $ E(\boldsymbol{\sigma}) $ とエントロピー $ S(E) $ は、$ N $ の主要項において正確に等しくなるため、熱力学的極限において臨界性が示される。
• 隠れ変数 $ h $ を持つ独立スピンの数値的シミュレーションでは、$ P(\boldsymbol{\sigma}) $ のランク周波数プロットが傾き ≈ -1 のパワーロウに従い、ツィフトの法則が確認される。
• 複雑な相互作用（例：クエンチド $ J_{ij} $ と $ h_i $）が存在しても、モデルはツィフトに類似した統計を維持し、平均場仮定を超えた頑健性を示す。
• モデルは実際のブローフライH1神経細胞の順序付きスパイクパターンをうまく再現し、実データと一致しており、復帰性がパワーロウ行動を破壊しないことも示している。
• ツィフトの法則の出現は、系が $ q(h) $ の分布に十分に感受性を持つことに依存する。$ q(h) $ に適応が不十分な場合、この効果を観測するには非常に大きな $ N $ 必要となる。