[論文レビュー] A Compression-Complexity Measure of Integrated Information

Mohit Virmani, Nithin Nagaraj|arXiv (Cornell University)|Aug 23, 2016

Fractal and DNA sequence analysis参考文献 3被引用数 4

ひとこと要約

本論文は、計算効率性、状態非依存性、実際の神経データへの適用可能性を備えた、統合情報理論（IIT）の主な限界を克服する新規な統合情報の圧縮・複雑性測度ΦCを提案する。損失なし圧縮（ETCおよびLZ）を用いて動的複雑性を測定し、ネットワーク全体でΦと強い階層的整合性を示し、統合性、多様性、エントロピーとの強固な関連を示している。

ABSTRACT

Quantifying integrated information is a leading approach towards building a fundamental theory of consciousness. Integrated Information Theory (IIT) has gained attention in this regard due to its theoretically strong framework. However, it faces some limitations such as current state dependence, computationally expensive and inability to be applied to real brain data. On the other hand, Perturbational Complexity Index (PCI) is a clinical measure for distinguishing different levels of consciousness. Though PCI claims to capture the functional differentiation and integration in brain networks (similar to IIT), its link to integrated information theories is rather weak. Inspired by these two approaches, we propose a new measure - $Φ^C$ using a novel compression-complexity perspective that serves as a bridge between the two, for the first time. $Φ^C$ is founded on the principles of lossless data compression based complexity measures which characterize the dynamical complexity of brain networks. $Φ^{C}$ exhibits following salient innovations: (i) mathematically well bounded, (ii) negligible current state dependence unlike $Φ$, (iii) integrated information measured as compression-complexity rather than as an infotheoretic quantity, and (iv) faster to compute since number of atomic bipartitions scales linearly with the number of nodes of the network, thus avoiding combinatorial explosion. Our computer simulations show that $Φ^C$ has similar hierarchy to $$ for several multiple-node networks and it demonstrates a rich interplay between differentiation, integration and entropy of the nodes of a network. $Φ^C$ is a promising heuristic measure to characterize the quantity of integrated information (and hence a measure of quantity of consciousness) in larger networks like human brain and provides an opportunity to test the predictions of brain complexity on real neural data.

研究の動機と目的

• 大規模ネットワークにおける統合情報（Φ）の計算非効率性および現在の状態依存性に対処すること。
• 統合情報理論（IIT）と臨床的に使用されている摂動的複雑性インデックス（PCI）の理論的ギャップを埋めること。
• データ圧縮の原則に基づき、スケーラブルで、頑健かつ神経生理学的に適用可能な統合情報の測定法を開発すること。
• 複雑系の実際の神経時系列データに対して意識理論の検証を可能にすること。

提案手法

• 動的複雑性を測定するため、作業負荷圧縮（ETC）およびレームペル・ツィーブ（LZ）複雑性に基づくΦCという圧縮・複雑性測度を提案する。
• 個々のノードに摂動を加え、残りのノードにおける差分圧縮・複雑性応答分布（dCCRD）を計算する。
• すべての原子的二分割（例：A–BC、B–AC、C–AB）におけるdCCRD値を統合し、集約差分圧縮・複雑性測度を算出する。
• 最終的な測度であるETCΦCを、すべての可能な二分割におけるすべての集約dCCRD値の最大値として定義する。
• 線形回帰を用いて、統合情報をノードのエントロピーとネットワークサイズの関数としてモデル化し、ΦCをエントロピー成分から予測する係数をフィッティングする。
• XOR、AND、OR論理ゲートを用いた合成ネットワークおよびスパikingダイナミクスを示すハインダシュ・ローズニューロンモデルを用いて、手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 圧縮・複雑性測度は、小さなネットワークにおいてΦの階層的構造を再現できるか？
• RQ2 ΦCは、計算コストとネットワーク状態への感受性において、Φとどのように比較できるか？
• RQ3 合成論理ネットワークにおいて、ΦCはエントロピーおよびネットワークサイズとどの程度相関するか？
• RQ4 ハインダシュ・ローズモデルのような生物学的に現実的なニューロンモデルの時系列データから、ΦCを信頼性高く計算できるか？
• RQ5 ΦCは、複雑なネットワークにおいて統合性、多様性、エントロピーの意味的な相互作用を示すか？

主な発見

• ΦCは、3ノード論理ネットワーク全体で<Φ>と整合的な階層的構造を示し、回帰分析において予測値（Ŷ）が実際の<Φ>値に非常に近い一致を示した。
• nhighHhighおよびnlowHlowを予測子として使用した線形回帰モデルは良好なフィットを示し、係数はˆxhigh = 1.11およびˆxlow = 0.1408であった。これは強力な説明力を持つことを示している。
• ΦCは計算的に効率的であり、二分割のスケーリングがノード数に対して線形であるため、Φの組み合わせ的爆発を回避している。
• ハインダシュ・ローズモデルでは、I = 3.310（規則的スパiking）およびI = 3.28（カオス的スパiking）から得たスパイク系列を用いてエントロピーと圧縮複雑性を計算した。
• 3ノード例では、すべての二分割における最大ETCΦC値は0.548であった。これは、集約dCCRDの最大値として計算された。
• ΦCは、Φとは異なり、現在の状態依存性がほとんどなく、数学的に良好に境界づけられており、実世界の応用に適している。