[论文解读] Desiderata for normative models of synaptic plasticity

Colin Bredenberg, Cristina Savin|arXiv (Cornell University)|Aug 9, 2023

Neural dynamics and brain functionNeuroscience被引用 3

一句话总结

本文提出了一套理想标准（desiderata）框架——用于评估规范性突触可塑性模型的有效性与实用性的准则——确保这些模型能够将可塑性与适应性行为相联系，与生物学证据一致，并产生可检验的预测。通过将REINFORCE和Wake-Sleep算法作为案例研究，本文表明规范性模型可基于坐标下降或EM等优化原理建立，尽管在一般条件下存在局限性。

ABSTRACT

Normative models of synaptic plasticity use a combination of mathematics and computational simulations to arrive at predictions of behavioral and network-level adaptive phenomena. In recent years, there has been an explosion of theoretical work on these models, but experimental confirmation is relatively limited. In this review, we organize work on normative plasticity models in terms of a set of desiderata which, when satisfied, are designed to guarantee that a model has a clear link between plasticity and adaptive behavior, consistency with known biological evidence about neural plasticity, and specific testable predictions. We then discuss how new models have begun to improve on these criteria and suggest avenues for further development. As prototypes, we provide detailed analyses of two specific models -- REINFORCE and the Wake-Sleep algorithm. We provide a conceptual guide to help develop neural learning theories that are precise, powerful, and experimentally testable.

研究动机与目标

• 建立一个严格、基于原则的框架，用于评估能够连接理论与生物学合理性的规范性突触可塑性模型。
• 通过定义模型质量的明确标准，弥合可塑性理论模型与实验验证之间的鸿沟。
• 展示规范性模型如何基于优化目标（如最大化似然或最小化差异）建立。
• 根据这些标准，批判性评估经典模型（如REINFORCE和Wake-Sleep），识别其优势与局限性。
• 指导未来神经学习理论的发展，使其具备精确性、强大性及实验可检验性。

提出的方法

• 定义可塑性模型的谱系：现象学模型（数据总结）、机制性模型（生物物理因果性）和规范性模型（功能目的）。
• 提出规范性模型的一组理想标准：与适应性行为的明确关联、与生物学证据的一致性，以及可检验的预测。
• 以REINFORCE作为案例研究，展示策略梯度方法如何被构建成优化行为目标的规范性可塑性规则。
• 分析Wake-Sleep算法作为规范性模型，其在特定假设下可近似坐标下降或EM算法。
• 推导出Wake-Sleep更新近似于联合似然目标上的梯度下降的数学条件。
• 应用一阶泰勒近似，证明当模型接近收敛时，Wake相与Sleep相的梯度具有等价性。

Figure 1: Defining normative modeling. a. Spectrum of synaptic plasticity models. Mechanistic models show how detailed biophysical interactions produce observed plasticity, phenomenological models concisely describe what changes in experimental variables (e.g. post-pre relative spike timing $\Delta

实验结果

研究问题

• RQ1 哪些标准可定义高质量的规范性突触可塑性模型，使其既具有生物学合理性又具备行为意义？
• RQ2 规范性模型如何被正式关联到优化目标（如似然最大化或奖励最大化）？
• RQ3 在何种条件下，Wake-Sleep算法可近似坐标下降或EM算法？
• RQ4 为何一些规范性模型（如Wake-Sleep）尽管在经验上成功，却难以保证可靠收敛？
• RQ5 我们如何确保规范性可塑性模型能产生具体、可证伪的预测，以供实验检验？

主要发现

• 当模型接近收敛时，Wake-Sleep算法近似于对联合似然目标的坐标下降，其Wake相与Sleep相梯度的等价性已得到证明。
• 在假设模型分布 $ p_{m} $ 接近真实数据分布 $ p $ 的前提下，Wake相与Sleep相目标的梯度近似相等。
• 当生成模型为凸函数且全局最小值可达时，Wake-Sleep算法可被解释为EM算法的近似。
• REINFORCE通过使用策略梯度优化行为，为强化学习提供了一个规范性框架，其更新规则源自期望奖励梯度的推导。
• 尽管在经验上表现成功，Wake-Sleep算法在一般条件下缺乏强有力的收敛保证，尤其是在模型非凸或全局最小值不可达时。
• 理想标准框架通过确保模型将可塑性与适应性功能相联系、尊重生物学约束并产生可检验预测，实现了对可塑性模型的系统性评估。

Figure 2: Architecture and scalability considerations for normative plasticity models. a. Features of realistic biological networks that normative plasticity theories should be able to account for: separation of excitatory and inhibitory neuron populations; stochastic and spiking input-output functi