[论文解读] Inference by Reparameterization in Neural Population Codes

Rajkumar Vasudeva Raju, Xaq Pitkow|arXiv (Cornell University)|May 20, 2016

Bayesian Modeling and Causal Inference参考文献 25被引用 20

一句话总结

本文提出了一种生物上合理的神经网络模型，采用概率种群编码（PPCs）与基于树的重参数化（TRP），在多元图模型中执行近似概率推理。通过将TRP更新嵌入具有快慢时间尺度的非线性动力系统中，该模型实现了无需显式消息传递的分布式、循环推理，其推理质量与Loopy Belief Propagation（LBP）相当，同时保持了神经上的合理性，并对噪声具有鲁棒性。

ABSTRACT

Behavioral experiments on humans and animals suggest that the brain performs probabilistic inference to interpret its environment. Here we present a new general-purpose, biologically-plausible neural implementation of approximate inference. The neural network represents uncertainty using Probabilistic Population Codes (PPCs), which are distributed neural representations that naturally encode probability distributions, and support marginalization and evidence integration in a biologically-plausible manner. By connecting multiple PPCs together as a probabilistic graphical model, we represent multivariate probability distributions. Approximate inference in graphical models can be accomplished by message-passing algorithms that disseminate local information throughout the graph. An attractive and often accurate example of such an algorithm is Loopy Belief Propagation (LBP), which uses local marginalization and evidence integration operations to perform approximate inference efficiently even for complex models. Unfortunately, a subtle feature of LBP renders it neurally implausible. However, LBP can be elegantly reformulated as a sequence of Tree-based Reparameterizations (TRP) of the graphical model. We re-express the TRP updates as a nonlinear dynamical system with both fast and slow timescales, and show that this produces a neurally plausible solution. By combining all of these ideas, we show that a network of PPCs can represent multivariate probability distributions and implement the TRP updates to perform probabilistic inference. Simulations with Gaussian graphical models demonstrate that the neural network inference quality is comparable to the direct evaluation of LBP and robust to noise, and thus provides a promising mechanism for general probabilistic inference in the population codes of the brain.

研究动机与目标

• 开发一种大规模多元模型中近似概率推理的生物上合理神经实现。
• 解决Loopy Belief Propagation（LBP）的神经不现实性，特别是其对独立消息传递机制的依赖。
• 将概率种群编码（PPCs）与基于重参数化的推理相结合，以在神经回路中实现分布式、循环计算。
• 证明基于PPC的循环网络可通过双时间尺度动力系统实现精确的边缘化与证据整合。

提出的方法

• 使用概率种群编码（PPCs）表示概率分布，其中种群活动编码后验分布的自然参数。
• 通过连接多个PPCs构建多元图模型，实现对多个相互作用变量联合分布的表示。
• 将Loopy Belief Propagation（LBP）重述为基于树的重参数化（TRP），使其更适用于神经实现。
• 将TRP更新实现为具有快（局部更新）和慢（全局重加权）时间尺度的非线性动力系统，以避免环路中证据的重复计算。
• 采用除法归一化与二次非线性作为生物上合理机制，实现PPC框架中消息传递操作。
• 使用多路复用的神经活动模式对多个变量的统计信息进行编码，实现在无专用消息通道情况下的分布式推理。

实验结果

研究问题

• RQ1 基于PPC的循环神经网络能否以生物上合理的方式执行近似概率推理？
• RQ2 如何通过重参数化解决Loopy Belief Propagation的神经不现实性？
• RQ3 多时间尺度在防止环路图模型中证据重复计算方面发挥什么作用？
• RQ4 分布式种群编码能否在无显式消息传递的情况下，对多个变量实现精确的边缘化？
• RQ5 噪声如何影响基于PPC的推理网络性能？其是否对真实的神经变异性具有鲁棒性？

主要发现

• 即使存在时空噪声，神经网络的推理质量仍与直接通过LBP计算获得的真实边缘概率高度一致。
• 该模型对噪声具有鲁棒性，且随着每个参数的神经元数量增加，性能进一步提升，表明其具备可扩展性与可靠性。
• 双时间尺度动力系统能有效防止环路中证据的重复计算，尤其在长度为二的环路中，通过记忆机制对历史信息进行折扣。
• 网络仅通过种群活动在原位执行推理，无需为消息建立独立的神经表征，从而增强了生物合理性。
• 采用除法归一化与二次非线性可实现高质量的边缘化，且与已知的神经计算机制一致。
• 结果表明，对PPC参数施加不同的非线性变换可实现不同的近似推理算法，如平均场法或广义信念传播。