[论文解读] Early Inference in Energy-Based Models Approximates Back-Propagation

Yoshua Bengio, Asja Fischer|arXiv (Cornell University)|Oct 9, 2015

Neural dynamics and brain function参考文献 17被引用 19

一句话总结

本文提出，在具有潜在变量的连续能量模型中，早期推理步骤近似于通过误差梯度传播的反向传播。利用朗之万MCMC动力学，表明外部输入引起的扰动会在隐单元中引致类似梯度的更新，暗示了深度网络中信用分配的一种生物上合理的机制。

ABSTRACT

We show that Langevin MCMC inference in an energy-based model with latent variables has the property that the early steps of inference, starting from a stationary point, correspond to propagating error gradients into internal layers, similarly to back-propagation. The error that is back-propagated is with respect to visible units that have received an outside driving force pushing them away from the stationary point. Back-propagated error gradients correspond to temporal derivatives of the activation of hidden units. This observation could be an element of a theory for explaining how brains perform credit assignment in deep hierarchies as efficiently as back-propagation does. In this theory, the continuous-valued latent variables correspond to averaged voltage potential (across time, spikes, and possibly neurons in the same minicolumn), and neural computation corresponds to approximate inference and error back-propagation at the same time.

研究动机与目标

• 探究具有连续潜在变量的能量模型中的早期推理步骤是否近似于反向传播。
• 探讨类脑系统中的神经计算如何在无需显式反向传播的情况下实现高效的信用分配。
• 将随机推理动力学（朗之万MCMC）与深度网络中的基于梯度的学习联系起来。
• 提出一种利用连续值潜在变量和噪声驱动动力学的、生物上合理的深度层次结构中的信用分配机制。
• 检验突触可塑性规则（例如STDP）与能量模型中随机梯度更新之间的潜在联系。

提出的方法

• 将神经系统建模为具有可见单元和隐单元的连续能量模型，其中能量函数定义了系统动力学。
• 使用带加法噪声的漏斗积分器神经元模型来模拟生物神经动力学，近似朗之万MCMC推理。
• 推导出隐单元的时间演化为能量函数上的梯度下降，其扰动由可见单元的噪声引起。
• 分析隐单元激活的时间导数，表明在外部驱动下其对应于反向传播的误差梯度。
• 将推理过程与变分推理及类似EM的优化联系起来，其中模型参数被更新以更好地解释观测数据。
• 提出遵循类似STDP规则的突触更新可近似于对预测误差的随机梯度下降。

实验结果

研究问题

• RQ1 能量模型中的早期推理步骤是否能近似于深度学习中使用的误差反向传播过程？
• RQ2 在连续的、噪声驱动的神经系统中，外部输入引起的扰动如何在隐层中传播？
• RQ3 隐单元激活的时间导数与反向传播误差梯度之间的数学关系是什么？
• RQ4 类似STDP的突触可塑性规则是否能自然导致近似于此类模型中随机梯度下降的学习？
• RQ5 对称权重约束如何通过一种生物上合理的方式从学习动力学中自然产生？

主要发现

• 在连续能量模型上使用朗之万MCMC动力学的早期推理步骤，会在隐单元中产生类似梯度的更新，这些更新对应于反向传播的误差。
• 在外部驱动下，隐单元激活的时间导数在数学上等价于反向传播到网络中的误差梯度。
• 通过带噪声的漏斗积分器执行朗之万MCMC的神经计算，同时实现了近似推理和误差反向传播。
• 该系统的动力学自然与变分推理目标对齐，其中模型参数被更新以更好地解释观测数据。
• 遵循类似STDP规则的突触更新可近似于对预测误差的随机梯度下降，表明存在一种生物上合理的学习机制。
• 对称权重在自编码器类目标中自然产生，支持了尽管突触位置存在生物不对称性，对称连接在能量模型中的可行性。