[论文解读] Evolving to learn: discovering interpretable plasticity rules for spiking networks

Jakob Jordan, Maximilian Schmidt+2 more|arXiv (Cornell University)|May 28, 2020

Advanced Memory and Neural Computing参考文献 81被引用 5

一句话总结

本文提出一种自动化、基于进化的方法，通过将突触可塑性规则发现建模为元学习优化问题，以自动发现可解释的脉冲神经网络可塑性规则。利用遗传编程演化符号表达式，在生物物理约束下最大化任务特定性能，该方法发现了新颖且功能等价的可塑性规则——包括奖励调制型与误差驱动型学习机制，以及具有调制稳态的类似STDP的规则——提供了生物上合理、人类可读的学习规则，在特定任务中表现优于标准方法。

ABSTRACT

Continuous adaptation allows survival in an ever-changing world. Adjustments in the synaptic coupling strength between neurons are essential for this capability, setting us apart from simpler, hard-wired organisms. How these changes can be mathematically described at the phenomenological level, as so called "plasticity rules", is essential both for understanding biological information processing and for developing cognitively performant artificial systems. We suggest an automated approach for discovering biophysically plausible plasticity rules based on the definition of task families, associated performance measures and biophysical constraints. By evolving compact symbolic expressions we ensure the discovered plasticity rules are amenable to intuitive understanding, fundamental for successful communication and human-guided generalization. We successfully apply our approach to typical learning scenarios and discover previously unknown mechanisms for learning efficiently from rewards, recover efficient gradient-descent methods for learning from target signals, and uncover various functionally equivalent STDP-like rules with tuned homeostatic mechanisms.

研究动机与目标

• 解决发现既有效又可解释的生物上合理突触可塑性规则的挑战。
• 通过自动化、无偏见地探索潜在可塑性规则的广阔空间，克服人工引导搜索中的偏见。
• 开发一种系统化方法，将任务族、性能度量和生物物理约束明确整合到发现过程中。
• 生成紧凑的符号化可塑性规则，使其易于直观理解并支持人工引导的泛化。
• 发现适用于基于奖励、误差驱动和相关性学习的新型、功能等价的可塑性机制，适用于脉冲网络。

提出的方法

• 使用遗传编程演化表示可塑性规则的符号表达式，其中每个个体是将局部神经元变量映射到突触权重变化的候选函数。
• 定义任务族（例如，基于奖励、误差驱动、相关性学习）及其关联的性能度量（例如，平均奖励、误差减少）作为适应度函数。
• 将生物物理约束（例如，对动作电位时间、神经调质、膜电位的依赖）纳入规则空间，以确保生物合理性。
• 使用进化算法通过突变和选择迭代生成后代，优先选择在目标任务上具有更高适应度的个体。
• 对权重更新应用低通滤波以稳定学习，模拟生物的时间积分。
• 在 NEST 中模拟的脉冲神经元网络中验证所发现的规则，使用如漏电整合-放电模型和泊松分布输入等真实动力学。

实验结果

研究问题

• RQ1 自动化进化搜索能否发现新颖的、生物上合理的可塑性规则，使其在特定学习任务中优于已知机制？
• RQ2 所演化出的可塑性规则在性能上与 STDP 或奖励调制型可塑性等标准学习规则相比，能达到何种程度的相当或更优表现？
• RQ3 在相同任务下是否会出现多个功能等价的可塑性规则，且这些规则是否可被有意义地解释？
• RQ4 该方法能否发现将赫布型与稳态调节成分整合于单一、可解释符号表达式中的可塑性规则？
• RQ5 当应用于误差驱动学习任务时，所演化出的规则与基于梯度的学习方法相比表现如何？

主要发现

• 该方法成功发现了一种新颖的奖励调制型可塑性规则，可实现从奖励信号中高效学习，在指定任务中达到高平均奖励。
• 在误差驱动学习中，所演化出的可塑性规则性能与理论上最优的梯度下降方法相当，表明符号化可塑性规则可近似反向传播式学习。
• 该方法发现了多个功能等价的类似STDP的可塑性规则，其具有调制的稳态机制，其中在无相关性时非零项可作为前突触或后突触触发的稳态调节器。
• 所演化出的规则简洁且为符号化表达，支持直观理解与人工引导分析，优于黑箱替代方案。
• 该方法在多个任务族中表现出鲁棒性，包括基于奖励、误差驱动和相关性驱动的学习，且性能持续提升。
• 进化过程揭示了多种非平凡的、此前未知的解决方案，凸显了该方法探索可塑性规则空间未被探索区域的能力。