[論文レビュー] Beyond integrated information: A taxonomy of information dynamics phenomena

Pedro A. M. Mediano, Fernando E. Rosas+3 more|arXiv (Cornell University)|Sep 5, 2019

Cognitive Science and Education Research参考文献 5被引用数 31

ひとこと要約

本稿は、部分的情報分解を用いて多次元的情報ダイナミクスを、重複する、固有の、協同的な成分に分解する新しい枠組みである統合情報分解（ΦID）を導入する。従来の統合情報測度が異なるダイナミカル現象を混同していることが明らかになり、情報伝達の多様なモードを明確に分類することで、脳や気候ネットワークのようなシステムにおけるダイナミカルな複雑性のより正確で特化型の評価が可能になる。

ABSTRACT

Most information dynamics and statistical causal analysis frameworks rely on the common intuition that causal interactions are intrinsically pairwise -- every 'cause' variable has an associated 'effect' variable, so that a 'causal arrow' can be drawn between them. However, analyses that depict interdependencies as directed graphs fail to discriminate the rich variety of modes of information flow that can coexist within a system. This, in turn, creates problems with attempts to operationalise the concepts of 'dynamical complexity' or `integrated information.' To address this shortcoming, we combine concepts of partial information decomposition and integrated information, and obtain what we call Integrated Information Decomposition, or $Φ$ID. We show how $Φ$ID paves the way for more detailed analyses of interdependencies in multivariate time series, and sheds light on collective modes of information dynamics that have not been reported before. Additionally, $Φ$ID reveals that what is typically referred to as 'integration' is actually an aggregate of several heterogeneous phenomena. Furthermore, $Φ$ID can be used to formulate new, tailored measures of integrated information, as well as to understand and alleviate the limitations of existing measures.

研究の動機と目的

• 複雑な相互作用を二項因果関係に還元する既存の情報ダイナミクスフレームワークの限界に対処すること。
• 統合情報（Φ）のような一次元的指標を超えて、多次元的なダイナミカル・コンPLEXITYの特徴付けを開発すること。
• 多次元時系列に共存する、重複、固有、協同的という異種の情報伝達モードを解体すること。
• 従来の測度（Φ、因果密度（CD）、ψ）が、本質的に異なる情報ダイナミクス現象を混同していることの解明。
• 解釈可能性と測定の向上を図るため、統合情報の構成的情報的アトムに分解する形式的・公理的枠組みを提供すること。

提案手法

• 部分的情報分解（PID）と統合情報理論を組み合わせ、多次元確率的ダイナミカル・システムにおける情報伝達を分解する新しいフレームワークΦIDを構築する。
• PIDを用いて、過去から未来の状態への総合的情報伝達（過剰エントロピー）を、16種類の異なる情報的アトムに分解し、重複性・固有性・協同性の組み合わせを表現する。
• PIDの公理的構造を用いて、非負で上界を持つ、部分的に順序付けられた情報的アトムを定義し、数学的整合性と解釈可能性を確保する。
• 既存の統合情報測度（例：CD、ψ、ΦWMS、ΦG）の解析的表現をΦIDアトムの用語で導出し、それらがどのように異なる情報的モードを集約しているかを示す。
• 最大エントロピー射影法と制約ラティスを用いて、情報理論的量を数値的に計算し、高次元システムにおける数値的不安定性を最小限に抑える。
• 合成系を用いた検証により、ΦIDが直感に反する挙動（例：全量から和を引いたΦが負になる）を明らかにできることを示す。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、二項因果関係を超えた明確で解釈可能な成分に多次元的情報ダイナミクスを形式的に分解できるか？
• RQ2 既存の一次元的統合情報測度（例：Φ、CD、ψ）は、どの程度、本質的に異なる情報伝達モードを混同しているか？
• RQ3 特定の情報的成分（重複、固有、協同的）を同定・分離でき、複雑系における観察されたダイナミカル・コンPLEXITYの背後にある要因を特定できるか？
• RQ4 '全量から和を引く'形式の統合情報が負の値を取る理由は何か？これは、その背後にある情報ダイナミクスにどのような意味を持つのか？
• RQ5 特定の情報伝達モードに焦点を当てた、新たな特化型の統合情報測度をどのように構築できるか？

主な発見

• ΦIDは、16種類の異なる情報的アトムに情報ダイナミクスを成功裏に分解し、多次元的システムにおける情報の保存、伝達、変化の完全な分類を提供する。
• このフレームワークは、従来のΦで測定される「統合性」が、一様な現象ではなく、重複、固有、協同的成分の集約であることを明らかにした。これらは、既存の測度ではしばしば混同されている。
• 相関のあるノイズを有するノイズの入力ANDゲート（c=1）では、ΦG = 0 となり、統合情報なしを示すが、それにもかかわらず、協同性と重複性が非ゼロである。これは、協同性の存在が統合性を意味するわけではないことを示している。
• 『全量から和を引く』Φが負になるのは、システムに強い重複性と低い協同性がある場合であり、ノイズの入力ANDゲート（c=0.5）で確認された。この場合、個々の寄与の和が総合的情報量を上回り、非負性仮定に反する。
• 因果密度（CD）は、個別および結合的伝達に関連するアトムで構成されるが、ψ（協同性）は完全に二重協同的アトム I∂^{12→12} に含まれており、ψが統合情報の特定のサブセットのみを測定していることが示された。
• ΦWMSは複数のΦIDアトムに分解され、二重固有項からの負の寄与が含まれており、これがΦWMSの非単調性および特定の設定での負の値をとる理由を説明している。