[论文解读] Biological credit assignment through dynamic inversion of feedforward networks

William F. Podlaski, Christian K. Machens|arXiv (Cornell University)|Jul 10, 2020

Neural dynamics and brain function参考文献 61被引用 8

一句话总结

该论文提出了一种在深度前馈网络中使用动态逆反向传播的生物可解释信用分配机制，其中误差信号通过前向与固定反馈权重之间的稳定递归动力学反向传播，从而无需学习反馈连接。该方法在无需反向传播或权重传输的情况下实现精确的权重更新，在监督学习和自编码器任务中表现出色，且与反馈控制和二阶优化原理相关联。

ABSTRACT

Learning depends on changes in synaptic connections deep inside the brain. In multilayer networks, these changes are triggered by error signals fed back from the output, generally through a stepwise inversion of the feedforward processing steps. The gold standard for this process -- backpropagation -- works well in artificial neural networks, but is biologically implausible. Several recent proposals have emerged to address this problem, but many of these biologically-plausible schemes are based on learning an independent set of feedback connections. This complicates the assignment of errors to each synapse by making it dependent upon a second learning problem, and by fitting inversions rather than guaranteeing them. Here, we show that feedforward network transformations can be effectively inverted through dynamics. We derive this dynamic inversion from the perspective of feedback control, where the forward transformation is reused and dynamically interacts with fixed or random feedback to propagate error signals during the backward pass. Importantly, this scheme does not rely upon a second learning problem for feedback because accurate inversion is guaranteed through the network dynamics. We map these dynamics onto generic feedforward networks, and show that the resulting algorithm performs well on several supervised and unsupervised datasets. Finally, we discuss potential links between dynamic inversion and second-order optimization. Overall, our work introduces an alternative perspective on credit assignment in the brain, and proposes a special role for temporal dynamics and feedback control during learning.

研究动机与目标

• 为解决反向传播在神经网络中的生物不可行性，特别是对精确权重对称性或学习反馈连接的需求。
• 开发一种依赖前向与反馈路径之间动态交互而非迭代学习反馈权重的信用分配机制。
• 证明稳定的网络动力学能够准确地反转前向变换，从而在无需额外学习阶段的情况下实现有效的误差反向传播。
• 探索动态逆反向传播与二阶优化方法之间的联系，提示其在神经计算中的潜在生物学意义。

提出的方法

• 该方法将误差反向传播建模为一个反馈控制问题，利用前向权重在动态系统中重构前向变换的逆。
• 引入一种使用固定或随机反馈权重的动态逆反向传播机制，误差信号通过由控制律决定的递归动力学反向传播。
• 核心方程将反向传播建模为一个稳定的动力系统：$ \dot{\mathbf{\delta}}_l = -\mathbf{M}_l \mathbf{\delta}_l + \mathbf{D}_l \mathbf{M}_l \mathbf{\delta}_{l+1} $，确保收敛至正确的梯度方向。
• 该方法通过依赖动力系统内在稳定性来保证准确的逆反向传播，避免显式计算海塞矩阵逆或权重传输。
• 该算法被映射到标准的深度前馈网络中，并使用动态计算的误差信号进行梯度下降训练。
• 该方法在监督分类和自编码器任务上进行了评估，尽管使用固定反馈权重，仍表现出具有竞争力的性能。

实验结果

研究问题

• RQ1 在深度前馈网络中，是否可以不通过学习反馈权重而有效反向传播误差信号？
• RQ2 是否可以利用稳定的动力系统以生物可解释的方式反转前向变换？
• RQ3 动态逆反向传播是否能在避免权重传输问题的同时，实现与标准反向传播相当的性能？
• RQ4 动态逆反向传播与二阶优化方法之间存在何种关系？
• RQ5 该机制是否可扩展至更复杂的架构或生物神经回路？

主要发现

• 动态逆反向传播方法仅使用固定或随机反馈权重，成功地将信用分配给突触，消除了对反馈连接学习的第二阶段问题。
• 该方法在监督学习任务和自编码器训练中表现出具有竞争力的性能，证明了在无权重传输情况下的有效误差反向传播。
• 动态系统稳定收敛确保了梯度近似的准确性，性能取决于控制动力学和反馈权重初始化。
• 该方法在数学上与二阶优化方法相关联，提示其在学习过程中可能提升收敛速度和条件性。
• 该模型符合已知的生物学约束，如自上而下的反馈和活动的层级减慢，支持其在皮层回路中的可解释性。
• 尽管结果令人鼓舞，该方法收敛速度较慢，可能由于更新方向保守，类似于二阶方法。