[论文解读] A differentiable measure of pointwise shared information.

Abdullah Makkeh, Aaron J. Gutknecht+1 more|arXiv (Cornell University)|Feb 9, 2020

Neural Networks and Applications被引用 7

一句话总结

该论文提出了一种基于法诺概率质量排除原理的可微分点态共享信息度量，支持神经网络中的局部学习。该度量在每次实现中均有明确定义，支持冗余格上的有意义莫比乌斯反演，并满足目标链式法则，为现有不可微分的PID度量提供了一种可微分、可操作解释的替代方案。

ABSTRACT

Partial information decomposition (PID) of the multivariate mutual information describes the distinct ways in which a set of source variables contains information about a target variable. The groundbreaking work of Williams and Beer has shown that this decomposition can not be determined from classic information theory without making additional assumptions, and several candidate measures have been proposed, often drawing on principles from related fields such as decision theory. None of these measures is differentiable with respect to the underlying probability mass function. We here present a novel measure that draws only on the principle linking the local mutual information to exclusion of probability mass. This principle is foundational to the original definition of the mutual information by Fano. We reuse this principle to define a measure of shared information based on the shared exclusion of probability mass by the realizations of source variables. Our measure is differentiable and well-defined for individual realizations of the random variables. Thus, it lends itself for example to local learning in artificial neural networks. We show that the measure can be interpreted as local mutual information with the help of an auxiliary variable. We also show that it has a meaningful Moebius inversion on a redundancy lattice and obeys a target chain rule. We give an operational interpretation of the measure based on the decisions that an agent should take if given only the shared information.

研究动机与目标

• 为部分信息分解（PID）中缺乏可微分度量的问题提供解决方案，该问题阻碍了其在神经网络训练中的应用。
• 开发一种针对随机变量单次实现均有明确定义的点态共享信息度量。
• 确保该度量相对于底层概率质量函数可微分，从而支持基于梯度的优化。
• 提供一种基于法诺概率质量排除原理的、有理论依据且可操作解释的度量。
• 建立理论性质，如在冗余格上的莫比乌斯反演及目标链式法则。

提出的方法

• 该度量源自法诺原理，即互信息源于未被源变量共享的概率质量的排除。
• 共享信息被定义为所有源变量实现中共同排除的概率质量的最小值。
• 该度量被表述为联合概率质量函数的局部函数，以确保可微分性。
• 引入一个辅助变量，将共享信息解释为一种局部互信息的形式。
• 证明该度量在冗余格上可进行有意义的莫比乌斯反演，确保与PID框架的一致性。
• 推导出目标链式法则，表明其与标准信息论分解原则的兼容性。

实验结果

研究问题

• RQ1 能否仅基于经典信息论原理，构建一种可微分的点态共享信息度量？
• RQ2 如何定义共享信息，使其既具有可操作意义，又能相对于概率质量函数可微分？
• RQ3 所提出的度量是否支持在冗余格上的稳定莫比乌斯反演？
• RQ4 能否通过引入辅助变量，将该度量解释为一种局部互信息形式？
• RQ5 该度量是否满足目标链式法则，从而确保与多变量信息分解的兼容性？

主要发现

• 所提出的度量相对于底层概率质量函数是可微分的，使其适用于基于梯度的学习。
• 该度量在随机变量的单次实现中均有明确定义，支持局部信息分析。
• 它在冗余格上支持有意义的莫比乌斯反演，确保与PID框架的理论一致性。
• 该度量满足目标链式法则，证实其与标准信息分解原则的兼容性。
• 可通过代理在仅掌握共享信息时所作决策的方式，对该度量进行可操作解释。
• 当引入辅助变量时，该度量等价于一种局部互信息，从而提供了可解释性与理论基础。