[论文解读] Direct Feedback Alignment Provides Learning in Deep Neural Networks

Arild Nøkland|arXiv (Cornell University)|Sep 6, 2016

Neural Networks and Applications参考文献 11被引用 179

一句话总结

论文介绍 Direct Feedback Alignment (DFA)，一种生物学上可行的学习方法，其中固定的随机反馈权重直接将误差从输出传播到隐藏层，使深度网络能够在不进行反向传播的情况下学习，并在 MNIST 和 CIFAR 数据集上实现与 BP 相竞争的性能。

ABSTRACT

Artificial neural networks are most commonly trained with the back-propagation algorithm, where the gradient for learning is provided by back-propagating the error, layer by layer, from the output layer to the hidden layers. A recently discovered method called feedback-alignment shows that the weights used for propagating the error backward don't have to be symmetric with the weights used for propagation the activation forward. In fact, random feedback weights work evenly well, because the network learns how to make the feedback useful. In this work, the feedback alignment principle is used for training hidden layers more independently from the rest of the network, and from a zero initial condition. The error is propagated through fixed random feedback connections directly from the output layer to each hidden layer. This simple method is able to achieve zero training error even in convolutional networks and very deep networks, completely without error back-propagation. The method is a step towards biologically plausible machine learning because the error signal is almost local, and no symmetric or reciprocal weights are required. Experiments show that the test performance on MNIST and CIFAR is almost as good as those obtained with back-propagation for fully connected networks. If combined with dropout, the method achieves 1.45% error on the permutation invariant MNIST task.

研究动机与目标

• 提出一个生物学上可行的背传播替代方案，该方案不需要对称或互惠权重。
• 证明固定的随机反馈能够通过直接或间接的反馈路径在深度网络中实现学习。
• 展示 DFA 能训练非常深的网络和卷积网络，并在标准基准测试中实现接近背传播的性能。

提出的方法

• 给出 DFA、FA 和 IFA 的更新规则，使用固定的随机反馈矩阵 B_i，并通过 e = 输出处的梯度来推导更新方向。
• 给出更新方向：DFA：delta h_i = (B_i e) ⊙ f'(a_i)；FA：delta h_i = (B_i δ_{i+1}) ⊙ f'(a_i)；IFA：delta h_i = (W_i δ_{i-1}) ⊙ f'(a_i)。
• 提供一个理论机制（定理1），将反馈与前向通路的对齐与梯度下降方向联系起来，并讨论非对称反馈下学习的条件。

实验结果

研究问题

• RQ1 在没有对称权重的情况下，固定随机反馈路径是否能为隐藏层提供有用的误差信号？
• RQ2 直接反馈对齐在训练深度网络和卷积网络时，与反向传播和反馈对齐相比如何？
• RQ3 哪些正则化或初始化策略会影响 DFA 在标准基准上的性能？
• RQ4 DFA 能否训练比 BP 或 FA 更深的网络，观察到的限制是什么？

主要发现

• DFA 训练深度网络，在多种架构下可以在 MNIST 和 CIFAR-10/100 上达到零训练误差。
• 在 MNIST 上，对于全连接网络，DFA 的测试性能接近 BP 和 FA；在使用 dropout 的情况下，DFA 在置换不变的 MNIST 上达到 1.45% 的错误率。
• DFA 能训练非常深的网络（例如 100 层隐藏层），在相同初始化下 BP 可能表现困难；在卷积神经网络中，BP 通常优于 DFA，但在若干配置下 DFA 仍具有竞争力。
• t-SNE 可视化显示 DFA 学习的隐藏表示能像 BP 一样将类别分开，表明隐藏层中有用的特征学习。
• 前向路径与反馈路径的分离并不排除在 DFA/IFA 下的学习，凸显灵活性和潜在的生物学可行性。