[论文解读] A novel approach to multivariate redundancy and synergy.

Artemy Kolchinsky|arXiv (Cornell University)|Aug 23, 2019

Bayesian Modeling and Causal Inference参考文献 48被引用 10

一句话总结

本文提出了一种新颖的框架，用于将多变量信息分解为冗余、独有、协同和集体成分，适用于任意数量的源。该框架统一了集合论类比、基于布莱克韦尔定理的决策理论原则以及公理化推导，放宽了包含-排除约束，从而实现了更具灵活性和可推广性的信息分解度量方法。

ABSTRACT

Consider a situation in which a set of $n$ source random variables $X_{1},\dots,X_{n}$ have about some random variable $Y$. For example, in neuroscience $Y$ might represent the state of an external stimulus and $X_{1},\dots,X_{n}$ the activity of $n$ different brain regions. Recent work in theory has considered how to decompose the that the sources $X_{1},\dots,X_{n}$ provide about the target $Y$ into separate terms such as (1) the redundant information that is shared among all of sources, (2) the unique information that is provided only by a single source, (3) the synergistic information that is provided by all sources only when considered jointly, and (4) the information that is provided by at least one source. We propose a novel framework deriving such a decomposition that can be applied to any number of sources. Our measures are motivated in three distinct ways: via a formal analogy to intersection and union operators in set theory, via a decision-theoretic operationalization based on Blackwell's theorem, and via an axiomatic derivation. A key aspect of our approach is that we relax the assumption that measures of redundancy and union should be related by the inclusion-exclusion principle. We discuss relations to previous proposals as well as possible generalizations.

研究动机与目标

• 开发一种通用框架，将多个源关于目标变量提供的信息分解为冗余、独有、协同和集体成分。
• 将三种不同的动机——集合论类比、基于布莱克韦尔定理的决策理论以及公理化推导——统一为一个连贯的信息分解模型。
• 放宽冗余和并集度量中对包含-排除原则的严格遵循，以实现更灵活和现实的信息分解。
• 提供一种形式化且可扩展的方法，适用于任意数量的源变量，超越以往针对两源或有限源的模型。
• 建立与现有提议的关系，并为多变量信息理论中的推广提供路径。

提出的方法

• 该框架使用集合论交集和并集运算的形式类比，来定义来自多个源的信息冗余和并集。
• 通过布莱克韦尔定理实现信息度量的操作化，基于最小假设将冗余和协同性建立在决策理论最优性之上。
• 公理化推导确保所提度量在基本信息论原则下的一致性和连贯性。
• 该方法明确放宽了冗余和并集必须满足包含-排除原则的要求，从而实现更广泛的建模灵活性。
• 该方法将冗余定义为所有源中共享的最小信息量，将协同性定义为仅在所有源组合时才可访问的信息。
• 通过一致聚合多元互信息项，将该方法推广至任意数量的源。

实验结果

研究问题

• RQ1 如何将信息分解一致地扩展到标准两源框架之外的任意数量源？
• RQ2 在不强制执行包含-排除原则的前提下，如何通过类比集合运算来形式化定义冗余和协同性？
• RQ3 如何利用布莱克韦尔定理中的决策理论原则，以行为上具有意义的方式实现信息分解的操作化？
• RQ4 哪些公理约束能确保所提分解框架的一致性和唯一性？
• RQ5 所提度量与现有方法相比有何异同，是否实现了对多变量信息理论中现有方法的推广？

主要发现

• 所提框架成功将信息分解推广至任意数量的源，克服了以往两源或受限模型的局限性。
• 通过放宽包含-排除约束，该框架允许对复杂系统中冗余和协同信息进行更现实的建模。
• 集合论、决策论和公理化方法的整合为定义信息成分提供了稳健且一致的基础。
• 该方法以数学上一致且可解释的方式，定义了独有、冗余、协同和集体信息项。
• 该框架与先前提议建立了正式关系，显示出兼容性，同时扩展了其范围和灵活性。
• 该方法为多变量系统中高阶和非二元信息结构的推广提供了可行路径。