[論文レビュー] An Information-Theoretic Formalism for Multiscale Structure in Complex Systems

Benjamin Allen, Blake C. Stacey+1 more|arXiv (Cornell University)|Sep 16, 2014

Gene Regulatory Network Analysis参考文献 115被引用数 10

ひとこと要約

本稿は、シャノンエントロピーおよびコルモゴロフ・コンプライアンスなどの一般化された情報測度を用いて、複雑系におけるマルチスケール構造を定量化する情報理論的枠組みを導入する。情報関数の公理的性質を用いて構成要素間の依存関係を形式化し、複雑さプロファイルおよび新しい指標「情報の限界効用」を導出し、統計力学におけるグリーンの展開と関連付けることで、3つ以上の変数における多次元相互情報量の負の値を示すパラドックスを解消する。

ABSTRACT

We develop a general formalism for representing and understanding structure in complex systems. In our view, structure is the totality of relationships among a system's components, and these relationships can be quantified using information theory. In the interest of flexibility we allow information to be quantified using any function, including Shannon entropy and Kolmogorov complexity, that satisfies certain fundamental axioms. Using these axioms, we formalize the notion of a dependency among components, and show how a system's structure is revealed in the amount of information assigned to each dependency. We explore quantitative indices that summarize system structure, providing a new formal basis for the complexity profile and introducing a new index, the "marginal utility of information". Using simple examples, we show how these indices capture intuitive ideas about structure in a quantitative way. Our formalism also sheds light on a longstanding mystery: that the mutual information of three or more variables can be negative. We discuss applications to complex networks, gene regulation, the kinetic theory of fluids and multiscale cybernetic thermodynamics.

研究の動機と目的

• 情報理論を用いて、構成要素間の定量的関係としてシステム構造を一般的かつ公理的枠組みで表現すること。
• 3つ以上の変数における長年のパラドックスである負の多次元相互情報量を、統計力学およびグリーンの展開に基づいて解消すること。
• システム構造をスケールにわたって特徴付けるための新たな定量的指標（複雑さプロファイルおよび情報の限界効用）を導入すること。
• ネットワーク、流体力学、遺伝子調節機構といった異なる表現形態を、共通の情報理論的基盤の下に統一すること。
• 情報理論的公理に基づいて、リノルミズェーション群の考えを一般化する厳密なマルチスケール枠組みを提供し、複雑系の体系的粗粒化を可能にすること。

提案手法

• 連続性、対称性、加法性などの基本公理を満たす情報関数を用いて、構成要素間の依存関係として構造を形式化する。
• モーメント・キュムラント関係の逆転から導かれる符号付き和として、多次元相互情報量を定義する。
• グリーンの展開（125）を適用し、全エントロピーをk体相関の和として表現し、各スケールにおける多重相互情報量と関連付ける。
• スケールkにおける情報寄与の重み付き和として複雑さプロファイルD(k)を導出し、係数はモーメント・キュムラント変換の逆行列によって決定する。
• 情報の限界効用を新規指標として導入し、部分系に新たな構成要素を追加した際の情報量の増加を測定する。
• この枠組みを用いて、複雑ネットワーク、運動論、サイバネティック熱力学の既存モデルを再解釈し、それらの構造を情報理論的構成要素として表現する。

実験結果

リサーチクエスチョン

• RQ1 複数スケールにわたる情報理論的原則を用いて、システム構造を形式的に定義し、定量化することは可能か？
• RQ2 3つ以上の変数間の多次元相互情報量がなぜ負の値をとる場合があるのか、これはシステムの依存関係に何を意味するのか？
• RQ3 複雑さプロファイルの数学的起源は何か？また、モーメント・キュムラント関係の構造からどのようにして導かれるのか？
• RQ4 情報の限界効用はどのように定義され、個々の構成要素がシステム全体の構造に与える寄与度を評価するためにどのように利用できるか？
• RQ5 この枠組みは、ネットワーク、流体、遺伝子調節系といった多様な複雑系モデルを、共通の情報理論的枠組みでどのように統合できるか？

主な発見

• グリーンの展開における符号構造が自然に生じることを示すことで、負の多次元相互情報量のパラドックスが解消される。
• 複雑さプロファイルD(k)は、スケールkにおける情報寄与の線形結合として導出され、係数はモーメント・キュムラント変換の逆行列によって決定される。
• 情報の限界効用が新規指標として導入され、部分系に構成要素を追加した際の情報量の増加を定量化する。
• グリーンの展開（125）は、1体、2体、および高次相関項にエントロピーをマルチスケールに分解する。2体項は相互情報量に相当する。
• エラーズ＝レニャイのランダムネットワークのような相関のない系では、複雑さプロファイルは1次エントロピーに簡略化され、高次構造が存在しない場合にはC(1) = D(1)が成り立つ。
• この枠組みは、多次元相互情報量の符号パターン（奇数サイズのグループでは+、偶数サイズでは−）が、キュムラント展開の線形代数的性質の直接的結果であることを明らかにする。