[论文解读] A partial information decomposition for discrete and continuous variables

Kyle Schick-Poland, Abdullah Makkeh+4 more|arXiv (Cornell University)|Jun 23, 2021

Neural Networks and Applications参考文献 21被引用 9

一句话总结

本文提出了一种测度论框架用于部分信息分解（PID），该框架将局部和全局冗余信息度量推广至任意混合的离散与连续随机变量。通过利用Radon-Nikodým导数将共享排除方法扩展至连续系统，该方法确保了在可逆变换下的不变性、相对于概率密度的可微性，并满足关键PID公理，从而实现在复杂真实世界数据场景中的严格PID分析。

ABSTRACT

Conceptually, partial information decomposition (PID) is concerned with separating the information contributions several sources hold about a certain target by decomposing the corresponding joint mutual information into contributions such as synergistic, redundant, or unique information. Despite PID conceptually being defined for any type of random variables, so far, PID could only be quantified for the joint mutual information of discrete systems. Recently, a quantification for PID in continuous settings for two or three source variables was introduced. Nonetheless, no ansatz has managed to both quantify PID for more than three variables and cover general measure-theoretic random variables, such as mixed discrete-continuous, or continuous random variables yet. In this work we will propose an information quantity, defining the terms of a PID, which is well-defined for any number or type of source or target random variable. This proposed quantity is tightly related to a recently developed local shared information quantity for discrete random variables based on the idea of shared exclusions. Further, we prove that this newly proposed information-measure fulfills various desirable properties, such as satisfying a set of local PID axioms, invariance under invertible transformations, differentiability with respect to the underlying probability density, and admitting a target chain rule.

研究动机与目标

• 将部分信息分解（PID）从离散系统扩展至一般的测度论随机变量，包括连续和混合离散-连续变量。
• 开发一种在测度论概率空间中明确定义的局部与全局冗余信息度量。
• 确保所提出的PID度量满足核心公理性质，包括在可逆变换下的不变性以及相对于底层概率密度的可微性。
• 在Dirac测度的极限下恢复离散PID定义，确保不同变量类型之间的一致性。
• 通过提供数学上严格且可计算的框架，使PID能够应用于真实世界数据分析，特别是在神经科学和统计建模中。

提出的方法

• 本文引入一种基于共享排除的局部冗余信息度量 $ i^{ ext{sx}}_{ ext{cap}} $，通过联合分布相对于参考测度的Radon-Nikodým导数定义。
• 通过在样本空间上积分局部度量，获得全局PID度量 $ I^{ ext{sx}}_{ ext{cap}} $，确保与经典信息论平均的一致性。
• 证明该框架在可逆拓扑同构下保持不变，从而在坐标变换下保持PID结构。
• 确立该度量相对于概率密度函数的可微性，使梯度驱动的优化方法可在统计模型中应用。
• 推导出一个目标链式法则，表明冗余信息可在线性复合目标变量上加性分解，与信息论原理一致。
• 通过利用测度论基础和绝对连续性，将Makkeh等人（2023）的离散PID框架推广至连续和混合系统。

实验结果

研究问题

• RQ1 能否为连续和混合离散-连续随机变量构建一个一致且可微的PID框架？
• RQ2 所提出的度量是否满足局部PID公理以及在可逆变换下的不变性？
• RQ3 如何利用测度论将基于共享排除的离散PID定义扩展至连续系统？
• RQ4 所提出的冗余信息度量是否相对于底层概率密度函数的变化具有可微性？
• RQ5 该框架是否能在Dirac狄拉克测度的极限下恢复离散PID情形？

主要发现

• 所提出的局部冗余信息度量 $ i^{ ext{sx}}_{ ext{cap}} $ 在一般测度论概率空间中明确定义，包括连续和混合变量类型。
• 该度量在可逆变换下保持不变，确保在坐标系统可能变化的真实世界数据应用中具有鲁棒性。
• 该度量相对于底层概率密度函数具有可微性，使其适用于统计学习和基于流形的推断。
• 全局PID度量 $ I^{ ext{sx}}_{ ext{cap}} $ 满足目标链式法则，允许对复合目标变量上的冗余信息进行分解。
• 在Dirac测度的极限下，连续框架恢复了Makkeh等人（2023）的离散PID定义，确保了跨领域的连续性。
• 该框架揭示了在连续系统中非负分解的根本挑战，源于负微分熵的存在，建议通过引入参考测度项 $ F $ 来修正，尽管这会引入参数选择的欠定性。