[论文解读] Contrasting information theoretic decompositions of modulatory and arithmetic interactions in neural information processing systems

Jim Kay, William A. Phillips|arXiv (Cornell University)|Mar 15, 2018

Neural Networks and Applications参考文献 25被引用 4

一句话总结

本文使用多元信息分解来对比情境调制——即上下文输入调制驱动输入的传输——与简单的算术运算（加法、减法、乘法、除法）。研究发现，情境调制独特地实现了协同作用，并展现出不同的信息处理特性，其中传递函数 $ T(r,c) = \frac{1}{2}r(1 + \exp(rc)) $ 在多种条件下尤为有效，为神经科学和情境敏感型机器学习设计提供了洞见。

ABSTRACT

Biological and artificial neural systems are composed of many local processors, and their capabilities depend upon the transfer function that relates each local processor's outputs to its inputs. This paper uses a recent advance in the foundations of information theory to study the properties of local processors that use contextual input to amplify or attenuate transmission of information about their driving inputs. This advance enables the information transmitted by processors with two distinct inputs to be decomposed into those components unique to each input, that shared between the two inputs, and that which depends on both though it is in neither, i.e. synergy. The decompositions that we report here show that contextual modulation has information processing properties that contrast with those of all four simple arithmetic operators, that it can take various forms, and that the form used in our previous studies of artificial neural nets composed of local processors with both driving and contextual inputs is particularly well-suited to provide the distinctive capabilities of contextual modulation under a wide range of conditions. We argue that the decompositions reported here could be compared with those obtained from empirical neurobiological and psychophysical data under conditions thought to reflect contextual modulation. That would then shed new light on the underlying processes involved. Finally, we suggest that such decompositions could aid the design of context-sensitive machine learning algorithms.

研究动机与目标

• 理解神经系统中情境调制与简单算术运算在信息处理方面的差异。
• 研究情境调制是否提供了基本算术运算器所不具备的独特信息处理能力。
• 评估特定传递函数在神经网络和人工网络中情境调制的适用性。
• 探索信息分解在指导情境敏感型机器学习算法设计方面的潜力。
• 提供一个框架，用于使用信息理论度量将理论模型与神经生物学和心理物理的实证数据进行比较。

提出的方法

• 应用最近信息论进展中的多元互信息分解方法，分析两个输入——驱动输入和情境输入——如何影响局部处理器的输出。
• 使用 Williams 和 Beer（2010）的框架及他人后续扩展，将互信息分解为唯一性、共享性和协同性成分。
• 将情境调制（定义为 $ T(r,c) = \frac{1}{2}r(1 + \exp(rc)) $）的信息分解与四种算术运算（加法、减法、乘法、除法）进行比较。
• 使用 dit Python 包在合成数据和基于模型的数据上实现信息分解的计算。
• 分析在不同输入条件和传递函数下，信息成分（唯一性、共享性、协同性）的变化情况。
• 将分析扩展至考虑分层网络中的学习动态和隐层表征，暗示其未来在深度学习和大数据算法中的应用潜力。

实验结果

研究问题

• RQ1 情境调制与算术运算（加法、减法、乘法、除法）在信息分解方面有何不同？
• RQ2 哪种传递函数最能捕捉情境调制在多种输入条件下的独特信息处理特性？
• RQ3 信息分解能否揭示出在算术运算中不存在、仅存在于情境调制中的协同成分？
• RQ4 信息分解在分析和改进情境敏感型机器学习算法方面可应用到何种程度？
• RQ5 在情境敏感型神经架构中，学习过程中干扰或无关信息成分如何变化？

主要发现

• 情境调制在信息传输中产生了显著的协同作用，这是所研究的四种算术运算中任何一种均未表现出的特性。
• 传递函数 $ T(r,c) = \frac{1}{2}r(1 + \exp(rc)) $（称为 M1）在广泛的不同输入条件下，独特地有效实现了情境敏感型信息处理。
• 与算术运算不同，情境调制能够实现非线性的、依赖情境的驱动输入放大或衰减，从而实现更丰富信息处理。
• 信息分解表明，情境调制能够传输仅靠任一输入单独无法捕获的信息，凸显其在解决模糊性和增强信号清晰度方面的作用。
• 本研究表明，信息分解可用于分析和改进机器学习中的情境敏感型算法，尤其是在深度网络中。
• 研究结果支持了情境调制是神经系统中一种独特且强大的机制的假设，具有在神经科学和人工智能领域应用的潜力。