[論文レビュー] Measuring Mutual Information in Random Boolean Networks

Bartolo Luque, Antonio Ferrera|arXiv (Cornell University)|Sep 3, 1999

Gene Regulatory Network Analysis参考文献 17被引用数 15

ひとこと要約

本稿は、平均場近似とマルコフ過程を用いて、ランダムブールネットワーク（RBNs）における相互情報量を調査し、解析的にかつ数値的に、過去と未来の相互情報量が秩序-散逸相転移のちょうどその点で最大に達することを示している—これは、複雑系がカオスの縁で情報処理を最大化するという仮説を支持するものである。

ABSTRACT

During the last few years an area of active research in the field of complex systems is that of their information storing and processing abilities. Common opinion has it that the most interesting beaviour of these systems is found ``at the edge of chaos'', which would seem to suggest that complex systems may have inherently non-trivial information proccesing abilities in the vicinity of sharp phase transitions. A comprenhensive, quantitative understanding of why this is the case is however still lacking. Indeed, even ``experimental'' (i.e., often numerical) evidence that this is so has been questioned for a number of systems. In this paper we will investigate, both numerically and analitically, the behavior of Random Boolean Networks (RBN's) as they undergo their order-disorder phase transition. We will use a simple mean field approximation to treat the problem, and without lack of generality we will concentrate on a particular value for the connectivity of the system. In spite of the simplicity of our arguments, we will be able to reproduce analitically the amount of mutual information contained in the system as measured from numerical simulations.

研究の動機と目的

• ランダムブールネットワーク（RBNs）における相互情報量が秩序-散逸相転移の時点で最大に達するかどうかを調査すること。
• 選択した不規則性の測度に起因する観察された複雑性のピークがアーティファクトであるかどうかの論争を解消するため、異なるエントロピー測度に対する相互情報量を分析すること。
• 解析的および数値的手法を用いて、最大の情報処理がカオスの縁で発生するという仮説を検証すること。
• 秩序的および散逸的相の間の遷移点が、特定の不規則性パラメータに依存しない形で、最大相互情報量の位置として機能することを明確にすること。

提案手法

• RBNsのダイナミクスを簡略化した統計的枠組みへと還元するため、平均場近似を用いる。
• 各オートマトンの次の状態が、入力の現在状態にのみ依存すると仮定するマルコフ的アンザッツを適用し、条件付きエントロピーの解析的取り扱いを可能にする。
• 接続性およびダイナミクスを制御するバイアス $ p $ の関数として、1オートマトンのエントロピー $ H(x_{t+1}) $ と条件付きエントロピー $ H(x_{t+1} \mid x_t) $ を計算する。
• 相互情報量 $ I = H(x_{t+1}) - H(x_{t+1} \mid x_t) $ を $ H(x_{t+1}) $ の関数として分析し、相転移にわたるその挙動を明らかにする。
• 数値シミュレーションとの比較により、解析的予測の妥当性を検証する。
• Liの主張（例：批判）を再解釈し、相転移境界が保たれる限り、不規則性の測度にかかわらず相互情報量のピークが遷移点に位置することを示す。

実験結果

リサーチクエスチョン

• RQ1 ランダムブールネットワークにおける相互情報量は、秩序-散逸相転移の時点でピークに達するか？
• RQ2 不規則性の測度（例：$ H(x_{t+1}) $ と $ H(x_{t+1} \mid x_t) $）の選択が、相互情報量のピーク位置に与える影響は何か？
• RQ3 マルコフ的仮定を伴う平均場近似は、数値シミュレーションで観察される相互情報量の挙動を正確に再現できるか？
• RQ4 相互情報量のピークが遷移点に位置するのは、測度に起因するアーティファクトなのか、それとも複雑系の根本的性質を反映しているのか？
• RQ5 なぜ相互情報量は秩序的または散逸的相の端に位置するのではなく、遷移点でピークに達するのか？

主な発見

• RBNの過去と未来の状態間の相互情報量 $ I $ は、秩序-散逸相転移の点で最大に達し、解析的および数値的両方で確認された。
• $ p \leq p_c $ の範囲では $ H(x_{t+1} \mid x_t) = 0 $ であるため、$ I = H(x_{t+1}) $ となり、相互情報量は1オートマトンのエントロピーに線形に増加する。
• $ p = p_c $ で、相互情報量はその最大値に達し、これは系が秩序的から散逸的ダイナミクスに遷移する臨界バイアスに対応する。
• $ p_c $ を超えると、$ H(x_{t+1} \mid x_t) $ が $ H(x_{t+1}) $ よりも速く増加し、$ I $ は非線形に減少する。これにより、相互情報量の単峰性が確認された。
• 相互情報量のピークは、ロバストであり、遷移点に位置する。$ H(x_{t+1} \mid x_t) $ を不規則性パラメータとして用いても、最大値は $ H(x_{t+1} \mid x_t) = 0 $ に位置し、これは臨界領域全体をカバーする。
• Liによる以前の批判を解消した。相転移境界が保たれる限り、一意的な関係性が維持され、ピークは遷移点に位置し、パrameter空間の端にはない。