[论文解读] Adaptive Bidirectional Backpropagation: Towards Biologically Plausible Error Signal Transmission in Neural Networks

Hongyin Luo, Jie Fu+1 more|arXiv (Cornell University)|Feb 23, 2017

Advanced Memory and Neural Computing参考文献 13被引用 6

一句话总结

本文提出自适应双向反向传播（BBA），一种生物上合理的训练框架，其中前向和反馈权重均被训练以近似前向激活，超越了固定或随机的反馈权重。该方法在MNIST和CIFAR-10上优于FA和DFA，表明自适应反馈权重可改善深度网络中的误差信号传输。

ABSTRACT

The back-propagation (BP) algorithm has been considered the de-facto method for training deep neural networks. It back-propagates errors from the output layer to the hidden layers in an exact manner using the transpose of the feedforward weights. However, it has been argued that this is not biologically plausible because back-propagating error signals with the exact incoming weights are not considered possible in biological neural systems. In this work, we propose a biologically plausible paradigm of neural architecture based on related literature in neuroscience and asymmetric BP-like methods. Specifically, we propose two bidirectional learning algorithms with trainable feedforward and feedback weights. The feedforward weights are used to relay activations from the inputs to target outputs. The feedback weights pass the error signals from the output layer to the hidden layers. Different from other asymmetric BP-like methods, the feedback weights are also plastic in our framework and are trained to approximate the forward activations. Preliminary results show that our models outperform other asymmetric BP-like methods on the MNIST and the CIFAR-10 datasets.

研究动机与目标

• 开发一种避免对称权重约束的、标准反向传播的生物上合理替代方案。
• 探究可训练反馈权重是否能改善深度神经网络中的误差信号传输。
• 解决如FA和DFA等非对称BP类方法中固定或随机反馈权重的局限性。
• 探索双向学习，其中前向和后向路径均具有可塑性，模仿大脑中的神经可塑性。
• 证明自适应反馈权重相比随机或固定反馈矩阵能带来更好的性能。

提出的方法

• 提出两种模型：双向反馈对齐（BFA）和双向直接反馈对齐（BDFA），两者均具有可训练的前向和反馈权重。
• 反馈权重被训练以近似前向激活函数，从而通过学习到的、非随机的矩阵传输误差信号。
• 采用两阶段训练过程：前向传播用于激活传播，反向传播用于使用自适应反馈权重传输误差信号。
• 在CIFAR-10上对BDFA使用修改后的损失函数，结合目标标签和网络输出以稳定反向学习。
• 引入反向生成过程，从输出特征重建输入特征，以验证学习到的反馈映射。
• 在BFA中应用MLP将输出特征映射回输入特征，测试模型反转前向过程的能力。

实验结果

研究问题

• RQ1 与固定或随机反馈矩阵相比，可训练反馈权重是否能改善深度网络中的误差信号传输？
• RQ2 是否生物上合理地允许具有可塑性的反馈权重，使其学习近似前向激活？
• RQ3 使用自适应反馈权重的双向训练是否能带来比FA和DFA等非对称BP方法更好的泛化性能？
• RQ4 在CIFAR-10等复杂数据集上，自适应反馈权重的性能与固定反馈相比如何？
• RQ5 反馈权重能否学会反转前向映射，从而实现从输出表示重建输入特征？

主要发现

• 在MNIST上，BFA优于FA和DFA，使用1×400架构时测试误差率为48.34%，分别优于FA的48.38%和DFA的48.48%。
• 在CIFAR-10上，BDFA在非对称方法中表现最佳，使用2×800架构时测试误差率为48.46%。
• BFA模型成功从独热编码输出特征重建输入图像，表明反馈权重学习到了从输出到输入表示的映射。
• 通过将输出特征修改为包含网络当前输出的一小部分，BDFA在CIFAR-10上的性能得到提升，从而增强了反向学习的稳定性。
• 研究表明，自适应反馈权重比固定或随机反馈矩阵更有效，这是DNN中首次实证证明该优势。
• 作者观察到，当直接映射原始输入时，BFA的训练稳定性会下降，这是由于非抽象的高维特征所致，表明在隐藏层中学习抽象表示更具可行性。