[论文解读] A probabilistic model for learning in cortical microcircuit motifs with data-based divisive inhibition

Robert Legenstein, Zeno Jonke+2 more|arXiv (Cornell University)|Jul 17, 2017

Neural dynamics and brain functionNeuroscience参考文献 28被引用 20

一句话总结

该论文提出了一种用于层2/3皮层微环路基序的概率生成模型，该模型在基于数据的 divisive 抑制下，用类似 noisy-OR 的模型替代了传统的 Winner-Take-All (WTA) 框架。研究表明，突触时序依赖可塑性（STDP）近似于在线期望最大化（EM），使网络能够通过学习叠加输入的模块化表示来实现盲源分离。

ABSTRACT

Previous theoretical studies on the interaction of excitatory and inhibitory neurons proposed to model this cortical microcircuit motif as a so-called Winner-Take-All (WTA) circuit. A recent modeling study however found that the WTA model is not adequate for data-based softer forms of divisive inhibition as found in a microcircuit motif in cortical layer 2/3. We investigate here through theoretical analysis the role of such softer divisive inhibition for the emergence of computational operations and neural codes under spike-timing dependent plasticity (STDP). We show that in contrast to WTA models - where the network activity has been interpreted as probabilistic inference in a generative mixture distribution - this network dynamics approximates inference in a noisy-OR-like generative model that explains the network input based on multiple hidden causes. Furthermore, we show that STDP optimizes the parameters of this model by approximating online the expectation maximization (EM) algorithm. This theoretical analysis corroborates a preceding modelling study which suggested that the learning dynamics of this layer 2/3 microcircuit motif extracts a specific modular representation of the input and thus performs blind source separation on the input statistics.

研究动机与目标

• 为了解决传统 WTA 模型在解释具有更柔和、基于数据的 divisive 抑制的皮层微环路动力学时的局限性。
• 开发一种概率生成模型，更好地捕捉 PV+ interneuron 介导抑制下层2/3微环路的计算功能。
• 证明该模型中的 STDP 近似于在线期望最大化（EM），用于学习生成模型参数。
• 建立理论基础，阐明此类微环路如何通过 STDP 从输入统计中提取模块化表示。

提出的方法

• 构建一个生成模型，对活跃的兴奋性神经元施加高斯先验，并采用类似 noisy-OR 的似然项来解释输入模式。
• 应用神经采样理论，表明该微环路基序近似于所提出的生成模型中的概率推理。
• 推导出一种可塑性规则，通过近似在线期望最大化（EM）来优化生成模型学习的模型参数。
• 证明该可塑性规则可被一种生物上合理的 STDP 类似学习规则所近似。
• 通过 64 维条纹图案的模拟，验证模型重构叠加输入的能力。
• 使用 KL 散度度量比较真实后验与近似后验，评估学习过程中的推理准确性。

实验结果

研究问题

• RQ1 在基于数据的 divisive 抑制下，皮层层2/3微环路中的计算操作与传统 WTA 模型相比有何不同？
• RQ2 概率生成模型能否解释该微环路基序中观察到的盲源分离现象？
• RQ3 该网络中的 STDP 是否近似于在线期望最大化（EM），用于学习生成模型参数？
• RQ4 归一化或稳态调节机制在该模型中对实现有效源分离起到什么作用？
• RQ5 在学习过程中，该网络在生成模型中的后验推理近似程度如何？

主要发现

• 具有 divisive 抑制的网络动力学近似于 noisy-OR 类生成模型中的概率推理，而非 WTA 电路中的混合模型。
• STDP 有效近似了在线期望最大化（EM），使网络能够无监督地学习生成模型参数。
• 该模型成功实现了盲源分离，将叠加的输入模式分解为其独立成分。
• 真实后验与近似后验之间的 KL 散度随时间减少，表明学习过程中推理准确性提高。
• 当先验参数调整时，模型仍保持鲁棒性，表明在不同假设下学习具有稳定性。
• 利用最大后验隐藏状态重构输入模式时，保真度较高，证实了有效表示学习。