[论文解读] Feedforward Initialization for Fast Inference of Deep Generative Networks is biologically plausible

Yoshua Bengio, Benjamin Scellier+3 more|arXiv (Cornell University)|Jun 6, 2016

Cell Image Analysis Techniques参考文献 20被引用 18

一句话总结

本文提出，前馈初始化通过确保连续层构成良好的自编码器，使网络初始状态非常接近固定点，从而在深度循环生成网络中实现近乎瞬时的推理。关键结果是，该设置可在无需迭代松弛的情况下实现指数级快速收敛，为具有反馈连接的模型提供了生物上合理的快速推理机制。

ABSTRACT

We consider deep multi-layered generative models such as Boltzmann machines or Hopfield nets in which computation (which implements inference) is both recurrent and stochastic, but where the recurrence is not to model sequential structure, only to perform computation. We find conditions under which a simple feedforward computation is a very good initialization for inference, after the input units are clamped to observed values. It means that after the feedforward initialization, the recurrent network is very close to a fixed point of the network dynamics, where the energy gradient is 0. The main condition is that consecutive layers form a good auto-encoder, or more generally that different groups of inputs into the unit (in particular, bottom-up inputs on one hand, top-down inputs on the other hand) are consistent with each other, producing the same contribution into the total weighted sum of inputs. In biological terms, this would correspond to having each dendritic branch correctly predicting the aggregate input from all the dendritic branches, i.e., the soma potential. This is consistent with the prediction that the synaptic weights into dendritic branches such as those of the apical and basal dendrites of pyramidal cells are trained to minimize the prediction error made by the dendritic branch when the target is the somatic activity. Whereas previous work has shown how to achieve fast negative phase inference (when the model is unclamped) in a predictive recurrent model, this contribution helps to achieve fast positive phase inference (when the target output is clamped) in such recurrent neural models.

研究动机与目标

• 解决循环深度生成模型中长时间迭代推理所导致的生物学不切实际和计算低效问题。
• 在非时序循环网络（脑启发模型中常见）中实现快速推理，而无需依赖缓慢的MCMC或固定点松弛方法。
• 通过展示良好的自编码器结构可实现快速收敛，弥合快速前馈网络与循环模型之间的差距。
• 提供一种与多 compartment 神经元动力学和预测误差最小化一致的生物上合理的推理机制。
• 通过证明在现实权重初始化下可实现快速推理，支持此类模型高效训练的可行性。

提出的方法

• 网络采用具有自下而上和自上而下连接的循环随机架构，其中推理被建模为能量最小化过程。
• 从输入到隐藏层的前馈传递用于初始化网络状态，作为松弛过程的起点。
• 关键条件是连续层构成良好的自编码器，即自下而上和自上而下信号在其对总输入的贡献上保持一致。
• 该方法依赖于树突分支（例如 apical 和 basal）预测胞体平均活动的假设，从而最小化预测误差。
• 动力学由能量函数控制，其中固定点对应于稳定状态，若初始化良好，系统将快速收敛。
• 该方法使用分段线性非线性函数和对称权重初始化进行验证，并在 MNIST 数据集上进行了实验。

实验结果

研究问题

• RQ1 在何种条件下，前馈传递可作为循环深度生成网络中快速推理的有效初始化？
• RQ2 自下而上与自上而下信号之间的一致性如何影响系统收敛至固定点的速度？
• RQ3 连续层之间自编码器结构是否能确保具有反馈连接的循环网络实现快速收敛？
• RQ4 这种快速推理机制是否具有生物学合理性，特别是在锥体细胞树突计算方面？
• RQ5 该方法是否可使原本需要缓慢迭代松弛的模型实现更快的训练与推理？

主要发现

• 当连续层构成良好的自编码器时，网络在单次前馈传递后几乎立即收敛至固定点。
• 当满足自编码器条件时，收敛速度呈指数级快速，MNIST 实验中使用 500 和 1000 个隐藏单元的结果已证实此现象。
• 使用权重绑定的随机初始化反馈与前馈权重会导致收敛缓慢，而经过训练的自编码器权重则能实现快速松弛。
• 前馈传递后的初始状态已非常接近固定点，显著减少了所需迭代次数。
• 该方法在不同隐藏层大小下均表现稳健，并保持快速收敛，表明其具备良好的泛化能力。
• 研究结果与近期关于多 compartment 神经元的生物学模型一致，表明突触权重被训练以最小化树突预测误差。