[论文解读] A General Framework for Interpretable Neural Learning based on Local Information-Theoretic Goal Functions

Abdullah Makkeh, Marcel Graetz+4 more|arXiv (Cornell University)|Jun 3, 2023

Neural Networks and Applications被引用 5

一句话总结

本文提出了信息形态网络（infomorphic networks）——一种由人工神经元构成的神经网络，其学习机制通过优化源自部分信息分解（PID）的局部信息处理目标实现。借助可微分的PID度量，这些网络能够以可解释的信息论目标执行监督学习、无监督学习和基于记忆的学习，证明了基于PID的学习规则可实现自组织且功能特化的神经动力学。

ABSTRACT

Despite the impressive performance of biological and artificial networks, an intuitive understanding of how their local learning dynamics contribute to network-level task solutions remains a challenge to this date. Efforts to bring learning to a more local scale indeed lead to valuable insights, however, a general constructive approach to describe local learning goals that is both interpretable and adaptable across diverse tasks is still missing. We have previously formulated a local information processing goal that is highly adaptable and interpretable for a model neuron with compartmental structure. Building on recent advances in Partial Information Decomposition (PID), we here derive a corresponding parametric local learning rule, which allows us to introduce 'infomorphic' neural networks. We demonstrate the versatility of these networks to perform tasks from supervised, unsupervised and memory learning. By leveraging the interpretable nature of the PID framework, infomorphic networks represent a valuable tool to advance our understanding of the intricate structure of local learning.

研究动机与目标

• 开发一种生物上合理且可解释的神经计算模型，捕捉局部信息处理过程，而不依赖全局任务语义。
• 通过采用部分信息分解（PID）解决经典信息论在建模多源输入整合方面的局限性。
• 证明使用可微分PID原子作为局部学习目标训练人工神经元的可行性。
• 展示基于PID的学习规则可支持多种学习范式，包括分类、表征学习和关联记忆。
• 提供一个基于信息论原理研究神经回路自组织与功能特化的框架。

提出的方法

• 本文推导了PID原子（唯一信息、冗余信息、协同信息与总信息）的解析梯度，使反向传播能够通过PID框架实现。
• 提出一种新颖的局部学习规则，基于PID原子的加权组合，其中超参数（Γ）指定各信息成分的相对重要性。
• 神经元通过可学习权重（wR, wC）从多个输入源（感受野与上下文）整合输入，输入被离散化为区间，用于熵与互信息估计。
• 学习过程采用两阶段训练方案：先进行权重回拉以稳定学习，随后使用自适应学习率（η）和正则化（λ）的标准优化。
• 网络通过随机梯度下降在由PID信息目标构成的损失函数上进行训练，输入数据编码为{−1, 1}中的离散向量。
• 该框架使用可微分的PID度量I^sx实现，使基于信息论原则的神经网络端到端训练成为可能。

Figure 1: Output information of an infomorphic neuron consists of 5 distinct information contributions. A The total output information $H(Y)$ of a neuron that consists of the mutual information with the inputs $I(Y:\mathbf{X}_{R},\mathbf{X}_{C})$ and the stochasticity $H(Y\mid\mathbf{X}_{R},\mathbf{

实验结果

研究问题

• RQ1 人工神经元能否通过源自部分信息分解（PID）的局部、可解释的信息处理目标进行训练？
• RQ2 基于PID的学习规则如何支持监督学习、无监督表征学习和关联记忆等多种学习范式？
• RQ3 PID原子（唯一信息、冗余信息、协同信息）在多大程度上塑造了神经网络的功能特化与自组织特性？
• RQ4 在不通过整个网络反向传播的情况下，可微分PID是否能实现神经网络的稳定与高效训练？
• RQ5 基于PID的学习规则能否产生可解释且功能有意义的神经动力学，反映皮层计算原理？

主要发现

• 信息形态网络成功使用基于PID的学习规则完成监督分类任务，在合适的超参数设置下实现稳定收敛。
• 在无监督学习中，以I_unq(Y:R)和I_unq(Y:C)作为目标训练的网络能够学习输入模式中独立条带的表征，展示了特征发现能力。
• 在关联记忆任务中，Γ = (0.1, 0.1, 1.0, 0.1, 0)的网络在单次输入后成功在19个时间步内回忆起存储的模式，表明具有强大的记忆保持能力。
• 在早期训练中使用权重回拉（λ > 0）显著提升了收敛性与稳定性，尤其在无监督表征学习等复杂任务中表现明显。
• 更小的区间数（如nR = 20）在关联记忆任务中未降低性能，表明对离散化选择具有鲁棒性。
• 该框架支持多种网络架构与学习目标，证实了基于PID的局部学习规则在多种范式中的通用性。

Figure 2: Illustration of the basic structure of an infomorphic neuron, inspired by the morphology of cortical pyramidal neurons. A Overlay of coherent infomax neural processor developed originally by Kay and Phillips ( 2011 ) on layer 5 pyramidal cells, highlighting potential parallels to existing