[论文解读] Deep Learning without Weight Transport

Mohamed Akrout, Collin Wilson+3 more|arXiv (Cornell University)|Apr 10, 2019

Advanced Memory and Neural Computing参考文献 33被引用 60

一句话总结

该论文提出两种机制（权重镜像和Kolen-Pollack互惠学习）使深度网络在不进行权重传输的情况下学习，在ImageNet上实现了接近反向传播的性能，并优于此前的无传输方法。

ABSTRACT

Current algorithms for deep learning probably cannot run in the brain because they rely on weight transport, where forward-path neurons transmit their synaptic weights to a feedback path, in a way that is likely impossible biologically. An algorithm called feedback alignment achieves deep learning without weight transport by using random feedback weights, but it performs poorly on hard visual-recognition tasks. Here we describe two mechanisms - a neural circuit called a weight mirror and a modification of an algorithm proposed by Kolen and Pollack in 1994 - both of which let the feedback path learn appropriate synaptic weights quickly and accurately even in large networks, without weight transport or complex wiring.Tested on the ImageNet visual-recognition task, these mechanisms outperform both feedback alignment and the newer sign-symmetry method, and nearly match backprop, the standard algorithm of deep learning, which uses weight transport.

研究动机与目标

• 激发并解决类脑学习中的权重传输问题。
• 提出两种无传输的机制来学习反馈权重。
• 展示在ImageNet上与反向传播以及先前无传输方法的竞争性性能。

提出的方法

• 引入权重镜像和受Kolen-Pollack启发的互惠网络，在没有权重传输的情况下学习反馈权重。
• 推导一种学习规则，使反馈权重在不进行显式权重共享的情况下收敛到前向权重的转置。
• 表明权重镜像在镜像模式下通过类Hebbian更新近似W^T。
• 改编学习规则，使层级和端到端训练在不传输权重的情况下也可实现。
• 提供带有批量归一化和ReLU的ResNet-18/50 CNN的架构和训练细节。

实验结果

研究问题

• RQ1 反馈路径在没有权重传输的情况下，能否学习到合适的突触权重以实现高效学习？
• RQ2 权重镜像和受Kolen-Pollack启发的网络是否可扩展到ImageNet，并与反向传播及其他无传输方法竞争？

主要发现

• 权重镜像和Kolen-Pollack网络在ImageNet上超越了纯反馈对齐和符号对称。
• 在ResNet-18上，WM达到30.2% top-1错误率，KP达到29.2% top-1错误率（对比 FA 97.4%、SS 39.2%、BP 30.1%）。
• 在ResNet-50上，WM达到23.4% top-1错误率，KP 23.9%（对比 FA 98.9%、SS 33.8%、BP 22.9%）。
• 两种方法都紧随反向传播的性能，提供了在无权重传输情况下的有竞争力的结果。
• 权重镜像在各层之间保持B与W^T之间的小角度（总体小于12°；δ角度小于25°）。
• Kolen-Pollack在约20个epoch内实现接近零的矩阵和δ角误差，表明与前向转置的强对齐。