[論文レビュー] Geometry of Information Integration

Шун-ичи Амари, Naotsugu Tsuchiya+1 more|arXiv (Cornell University)|Sep 7, 2017

Topological and Geometric Data Analysis参考文献 11被引用数 8

ひとこと要約

本稿は情報幾何学を用いて、因果的ダイナミカルシステムにおける統合情報の4つの尺度を分析・比較し、双対平坦かつ曲がった多様体を通じてそれらの階層的関係を明らかにする。幾何学的統合情報尺度ΦGが因果的影響を正確に分離するため、最も適切であることが示され、ΦFS、ΦDS、ΦMDはモデルの複雑さとKL発散の最小化に基づくネストされた階層を形成する。

ABSTRACT

Information geometry is used to quantify the amount of information integration within multiple terminals of a causal dynamical system. Integrated information quantifies how much information is lost when a system is split into parts and information transmission between the parts is removed. Multiple measures have been proposed as a measure of integrated information. Here, we analyze four of the previously proposed measures and elucidate their relations from a viewpoint of information geometry. Two of them use dually flat manifolds and the other two use curved manifolds to define a split model. We show that there are hierarchical structures among the measures. We provide explicit expressions of these measures.

研究の動機と目的

• 因果的システムにおける統合情報の異なる尺度の数学的・幾何学的性質を明確化すること。
• 情報幾何学の枠組みを用いて、以前に提案された4つの統合情報尺度を比較すること。
• それらの尺度の背後にある統計的多様体の構造に基づき、それらの間の階層的関係を確立すること。
• スプリットモデルにおける誤った依存関係を最小限に抑えることで、純粋な因果的影響を最もよく分離する尺度を特定すること。
• 各統合情報尺度について、明示的な式表現と幾何学的解釈を提供すること。

提案手法

• 情報幾何学を用いて、完全なシステムと4つの異なるスプリットモデルを統計的多様体としてモデル化する。
• 統合情報の定義を、結合分布p(x,y)とスプリットモデルq(x,y)の間の最小化されたKullback-Leibler（KL）発散として行う。
• 双対平坦多様体（指数型およびミキシチャーファミリー）を用いて、ピタゴラス的射影を用いてΦFSおよびΦDSの明示的表現を導出する。
• ΦGとΦMDは曲がった多様体を用いてモデル化する：ΦGは幾何学的因果的スプリットにより、ΦMDはパrameter βを伴う不一致デコードモデルにより。
• 解析的解が困難な非平坦モデルに対しては、数値最適化（例：勾配降下法）を用いて最適なq*を計算する。
• それぞれのスプリットモデル多様体の包含関係（例：MDS ⊃ MFS、MG ⊃ MFS）を分析することで、4つの尺度を比較する。

実験結果

リサーチクエスチョン

• RQ1 統合情報理論におけるスプリットモデルの異なる定義が、情報幾何学においてどのように幾何学的に関係するか。
• RQ2 統合情報の4つの尺度ΦFS、ΦDS、ΦG、ΦMDの間には、どのような階層的関係があるか。
• RQ3 なぜ幾何学的尺度ΦGが因果的情報統合を測定するのに他の尺度よりもより適切とされるのか。
• RQ4 これらの尺度は、自然な境界0 ≤ Φ ≤ I(X,Y)をどの程度満たしており、なぜΦFSがこれを違反するのか。
• RQ5 ΦG や ΦMD のような曲がった多様体におけるKL発散の最小化は、効率的に計算可能か。計算上の課題は何か。

主な発見

• 4つの尺度は階層的構造を形成する：ΦFS ≥ ΦDS、ΦMD ≥ ΦDS、ΦFS ≥ ΦG であり、これはそれぞれのスプリットモデル多様体間の包含関係に起因する。
• 完全にスプリットされたモデルMFSはMDSおよびMGに含まれるが、独立分布P_indを含まない。これが、境界0 ≤ Φ ≤ I(X,Y)の違反の主な理由である。
• 幾何学的尺度ΦGが最も適切であるのは、因果的影響を、相互部分間の依存関係のみを除去することで、偽の相関を導入せずに分離できるためである。
• ΦDSおよびΦFSは双対平坦多様体に基づくため、混合座標におけるピタゴラス的射影により、最適なq*を解析的に計算可能である。
• ΦGおよびΦMDは曲がった多様体に基づくため、解析的解は困難であるが、KL発散の最小化は凸であり、数値的に解ける。
• 独立分布P_indはMDS、MG、MMDに含まれるが、MFSには含まれない。これにより、MFSが統合情報の自然な境界を満たさない理由が説明される。