[论文解读] Learning in the Machine: Random Backpropagation and the Deep Learning Channel

Pierre Baldi, Peter Sadowski+1 more|arXiv (Cornell University)|Dec 8, 2016

Stochastic Gradient Optimization Techniques参考文献 26被引用 9

一句话总结

本文提出了随机反向传播（RBP），这是一种生物上更合理的标准反向传播替代方法，通过使用固定的随机矩阵替代权重转置矩阵来实现误差信号的反向传播。尽管进行了这种简化，RBP在MNIST和CIFAR-10数据集上仍实现了接近标准反向传播的性能，且作者证明了在特定条件下，RBP在线性与非线性网络中可收敛至不动点，特别是当包含激活函数导数时效果更佳。

ABSTRACT

Random backpropagation (RBP) is a variant of the backpropagation algorithm for training neural networks, where the transpose of the forward matrices are replaced by fixed random matrices in the calculation of the weight updates. It is remarkable both because of its effectiveness, in spite of using random matrices to communicate error information, and because it completely removes the taxing requirement of maintaining symmetric weights in a physical neural system. To better understand random backpropagation, we first connect it to the notions of local learning and learning channels. Through this connection, we derive several alternatives to RBP, including skipped RBP (SRPB), adaptive RBP (ARBP), sparse RBP, and their combinations (e.g. ASRBP) and analyze their computational complexity. We then study their behavior through simulations using the MNIST and CIFAR-10 bechnmark datasets. These simulations show that most of these variants work robustly, almost as well as backpropagation, and that multiplication by the derivatives of the activation functions is important. As a follow-up, we study also the low-end of the number of bits required to communicate error information over the learning channel. We then provide partial intuitive explanations for some of the remarkable properties of RBP and its variations. Finally, we prove several mathematical results, including the convergence to fixed points of linear chains of arbitrary length, the convergence to fixed points of linear autoencoders with decorrelated data, the long-term existence of solutions for linear systems with a single hidden layer and convergence in special cases, and the convergence to fixed points of non-linear chains, when the derivative of the activation functions is included.

研究动机与目标

• 为解决标准反向传播中权重对称性的生物不现实性问题，该问题要求前向与反向权重完全相同。
• 探究在不牺牲学习性能的前提下，随机矩阵是否能有效替代反向传播中前向权重的转置。
• 在局部学习与学习通道的框架内形式化RBP，从而推导出新型变体，如跳跃RBP（SRBP）、自适应RBP（ARBP）和稀疏RBP。
• 分析RBP及其变体在线性与非线性网络中的计算复杂度与收敛特性。
• 探究学习通道中误差信号通信所需的最小位数，以探测信息效率的极限。

提出的方法

• RBP在误差反向传播过程中，用固定的随机矩阵替代前向权重矩阵的转置，从而消除了对对称权重的需求。
• 作者引入了“学习通道”概念以形式化误差信号的传输，进而推导出如跳跃RBP（SRBP）、自适应RBP（ARBP）和稀疏RBP等变体。
• 该方法将激活函数导数纳入误差信号，研究显示这对性能与收敛性至关重要。
• 理论分析包括证明在特定条件下，RBP可收敛至线性链、去相关数据下的线性自编码器以及单隐藏层线性系统中的不动点。
• 对于非线性网络，当激活函数的导数被包含在误差信号传播中时，可建立收敛性。
• 在MNIST和CIFAR-10上使用多种RBP变体进行了仿真，以评估其相对于标准反向传播的鲁棒性与性能。

实验结果

研究问题

• RQ1 在保持高学习性能的前提下，随机矩阵能否有效替代反向传播中前向权重的转置？
• RQ2 RBP及其变体在何种理论条件下可收敛至线性与非线性网络中的不动点？
• RQ3 将激活函数导数纳入误差信号对RBP的性能与稳定性有何影响？
• RQ4 在不降低性能的前提下，通过学习通道通信误差信号所需的最小位数是多少？
• RQ5 SRBP、ARBP和稀疏RBP等变体在准确率与计算效率方面与标准反向传播相比如何？

主要发现

• 尽管使用随机矩阵进行误差反向传播，RBP在MNIST和CIFAR-10上仍实现了接近标准反向传播的性能，表现出良好的鲁棒性。
• 在RBP中，将激活函数导数纳入误差信号对实现高性能与理论收敛性均至关重要。
• 理论分析证明，只要在误差信号中包含激活函数导数，RBP即可在任意长度的线性链中收敛至不动点。
• 对于具有去相关数据的线性自编码器，RBP在特定条件下可收敛至不动点，验证了其在结构化设置下的稳定性。
• 在单隐藏层线性系统中，长期存在解，且在特定情况下（如权重矩阵对称）可保证收敛。
• 本文证明，当激活函数导数被整合进误差信号传播时，RBP在非线性链中同样可收敛至不动点。