[论文解读] Convergence and Alignment of Gradient Descent with Random Backpropagation Weights

Ganlin Song, Ruitu Xu+1 more|arXiv (Cornell University)|Jun 10, 2021

Stochastic Gradient Optimization Techniques参考文献 24被引用 5

一句话总结

本文分析了反馈对齐算法，这是一种生物上合理的反向传播替代方法，其使用固定随机权重进行误差信号的反向传播。研究证明了在过参数化的两层网络中误差可实现指数级收敛至零，并表明正则化对于实现权重与随机反馈权重的对齐至关重要，从而推进了对神经网络中非局部学习的理论理解。

ABSTRACT

Stochastic gradient descent with backpropagation is the workhorse of artificial neural networks. It has long been recognized that backpropagation fails to be a biologically plausible algorithm. Fundamentally, it is a non-local procedure -- updating one neuron's synaptic weights requires knowledge of synaptic weights or receptive fields of downstream neurons. This limits the use of artificial neural networks as a tool for understanding the biological principles of information processing in the brain. Lillicrap et al. (2016) propose a more biologically plausible "feedback alignment" algorithm that uses random and fixed backpropagation weights, and show promising simulations. In this paper we study the mathematical properties of the feedback alignment procedure by analyzing convergence and alignment for two-layer networks under squared error loss. In the overparameterized setting, we prove that the error converges to zero exponentially fast, and also that regularization is necessary in order for the parameters to become aligned with the random backpropagation weights. Simulations are given that are consistent with this analysis and suggest further generalizations. These results contribute to our understanding of how biologically plausible algorithms might carry out weight learning in a manner different from Hebbian learning, with performance that is comparable with the full non-local backpropagation algorithm.

研究动机与目标

• 理解反馈对齐的数学特性，这是一种生物上合理的反向传播替代方法。
• 研究在平方误差损失下，两层神经网络中的收敛性与权重对齐问题。
• 确定反馈对齐算法在何种条件下可成功训练网络，而无需非局部权重依赖。
• 阐明正则化在实现学习权重与随机反馈权重之间对齐中的作用。
• 为反馈对齐在深度学习中的经验成功提供理论依据。

提出的方法

• 分析具有 ReLU 激活函数和平方误差损失的两层前馈神经网络。
• 使用随机且固定的反向传播权重代替真实梯度的随机梯度下降。
• 应用随机矩阵理论和浓度不等式工具，研究权重矩阵的谱特性。
• 采用限制等距性原理（RIP）变体，界定随机高斯矩阵与单位矩阵之间的偏差。
• 通过递归误差界和几何衰减估计推导出指数收敛速率。
• 引入正则化以强制实现学习权重与随机反馈权重之间的对齐。

实验结果

研究问题

• RQ1 在过参数化的两层网络中，反馈对齐在何种条件下收敛至零误差？
• RQ2 为何在缺乏正则化的情况下，反馈对齐无法实现权重与随机反馈权重的对齐？
• RQ3 使用随机反馈权重如何影响梯度下降的收敛速率？
• RQ4 正则化在实现反馈对齐中权重对齐方面起到什么作用？
• RQ5 在如过参数化等现实假设下，能否为反馈对齐建立理论保证？

主要发现

• 在过参数化状态下，误差以指数级速度收敛至零，收敛速率取决于学习率和谱间隙。
• 在无正则化的情况下，即使经过长时间训练，参数也无法与随机反向传播权重对齐。
• 在引入正则化后，学习到的权重与随机反馈权重实现对齐，从而实现有效学习。
• 收敛速率受一个包含学习率和格拉姆矩阵最小特征值的几何衰减因子所限制。
• 仿真结果验证了理论预测，显示仅在正则化条件下才会出现指数误差衰减和权重对齐。
• 该分析表明，在适当条件下，反馈对齐可实现与标准反向传播相当的性能。