[论文解读] Geometry of Information Integration

Шун-ичи Амари, Naotsugu Tsuchiya+1 more|arXiv (Cornell University)|Sep 7, 2017

Topological and Geometric Data Analysis参考文献 11被引用 8

一句话总结

本文利用信息几何分析并比较了因果动力系统中四种整合信息度量的性质，通过共形平坦与弯曲流形揭示了它们的层级关系。结果表明，几何整合信息度量ΦG最为合适，因为它能有效分离因果影响；而ΦFS、ΦDS和ΦMD则基于模型复杂度与KL散度最小化形成嵌套层级结构。

ABSTRACT

Information geometry is used to quantify the amount of information integration within multiple terminals of a causal dynamical system. Integrated information quantifies how much information is lost when a system is split into parts and information transmission between the parts is removed. Multiple measures have been proposed as a measure of integrated information. Here, we analyze four of the previously proposed measures and elucidate their relations from a viewpoint of information geometry. Two of them use dually flat manifolds and the other two use curved manifolds to define a split model. We show that there are hierarchical structures among the measures. We provide explicit expressions of these measures.

研究动机与目标

• 阐明因果系统中不同整合信息度量的数学与几何本质。
• 利用信息几何框架比较此前提出的四种整合信息度量。
• 基于其底层统计流形的结构，建立这些度量之间的层级关系。
• 识别哪一程度量能通过最小化分裂模型中的虚假依赖关系，最佳地隔离纯粹的因果影响。
• 为每种整合信息度量提供显式表达式与几何解释。

提出的方法

• 利用信息几何将完整系统与四种不同的分裂模型建模为统计流形。
• 将整合信息定义为全联合分布p(x,y)与分裂模型q(x,y)之间最小化的Kullback-Leibler（KL）散度。
• 应用对偶平坦流形（指数族与混合族）通过毕达哥拉斯投影推导ΦFS与ΦDS的显式表达式。
• 通过弯曲流形建模ΦG与ΦMD：ΦG基于几何因果分裂，ΦMD基于参数β的失配解码模型。
• 对非平坦模型采用数值优化（如梯度下降）计算不可解析求解的最优q*。
• 通过分析其各自分裂模型流形之间的包含关系（如MDS ⊃ MFS，MG ⊃ MFS）比较四种度量。

实验结果

研究问题

• RQ1 整合信息理论中不同分裂模型定义在信息几何中如何几何关联？
• RQ2 四种整合信息度量ΦFS、ΦDS、ΦG与ΦMD之间存在何种层级关系？
• RQ3 为何几何度量ΦG被认为比其他度量更合适以量化因果信息整合？
• RQ4 这些度量在多大程度上满足自然界 bounds 0 ≤ Φ ≤ I(X,Y)？为何ΦFS违反此界？
• RQ5 对于ΦG与ΦMD等弯曲流形，KL散度最小化能否高效计算？其计算挑战为何？

主要发现

• 四种度量形成层级结构：ΦFS ≥ ΦDS，ΦMD ≥ ΦDS，且ΦFS ≥ ΦG，这是由于其各自分裂模型流形之间存在包含关系。
• 完全分裂模型MFS包含于MDS与MG中，但不包含独立分布P_ind，这是其违反界0 ≤ Φ ≤ I(X,Y)的关键原因。
• 几何度量ΦG最为合适，因其仅移除部分间依赖关系，从而有效隔离因果影响，且不引入虚假相关性。
• ΦDS与ΦFS基于对偶平坦流形，可通过混合坐标系中的毕达哥拉斯投影实现最优q*的解析计算。
• ΦG与ΦMD基于弯曲流形，导致解析解不可行；但KL散度最小化问题仍保持凸性，可通过数值方法求解。
• 独立分布P_ind包含于MDS、MG与MMD中，但不包含于MFS中，这解释了为何MFS无法满足整合信息的自然界。